Bên trong cụm siêu máy tính AI DGX SaturnV của NVidi

Nhìn chung, các nhà sản xuất chip lớn nhất thế giới khá kín kẽ về các siêu máy tính (supercomputer) khổng lồ mà họ sử dụng để thiết kế và thử nghiệm các thiết bị của họ. Nhưng thi thoảng, Intel và AMD cũng đã tiết lộ một số manh mối về các hệ thống đặc biệt này của họ.

Chúng tôi không rõ NVidia đã sử dụng loại tài nguyên nào cho các hệ thống EDA của họ – chúng tôi đang cố gắng tìm hiểu về điều này – nhưng chỉ biết rằng họ vừa nâng cấp một siêu máy tính rất mạnh để phát triển trí tuệ nhân tạo, và cũng để thực hiện mục tiêu kép của họ với mảng kinh doanh thiết kế chip.

Là một phần của hội nghị siêu máy tính SC17, NVidia đã giới thiệu thế hệ tiếp theo của hệ thống điện toán lai CPU-GPU có tên gọi là “SaturnV”, có hiệu năng cao hơn, đa dạng hơn, nhờ vào việc sử dụng bộ tăng tốc GPU Tesla V100 dựa trên kiến trúc Volta độc quyền của Nvidia bên trong nền tảng máy chủ AI DGX-1.

NVidia DGX-1 Tesla V100 GPU-accelerated AI computer

Hệ thống Saturn V phiên bản đầu tiên, được trình làng tại hội nghị SC16 năm ngoái, dựa trên các máy chủ DGX-1 và bộ tăng tốc GPU Tesla P100, có ít oomph hơn và không hỗ trợ Tensor Core, tính năng hiện có trên dòng GPU Volta chuyên cho các xử lý machine learning. Hệ thống này có 124 máy chủ DGX-1P, mỗi máy chủ có hai bộ xử lý 20 nhân Broadwell Xeon E5 tốc độ 2,2 GHz, bộ nhớ CPU 512 GB và tám GPU P100 ở dạng SXM2 form-factor cho phép chúng được cắm trực tiếp vào bo mạch chủ và thực hiện kết nối NVLink 1.0. Mỗi bộ tăng tốc GPU Tesla P100 đều có stack memory HBM2 16 GB và được liên kết trong một mạng lưới hybrid kết nối khối lập phương với nhau.

Sử dụng lưu trữ dữ liệu FP16 half-precision trong bộ nhớ GPU, tám GPU Pascal có thể cung cấp 170 teraflop hiệu suất tổng hợp cho các thuật toán học sâu và tổng cộng 42,5 teraflop cho các phép toán double-precision. Mặt chính trên hệ thống DGX-1P có trang bị PCI-Express Switch để liên kết GPU với cặp bộ điều hợp InfiniBand hai cổng 100Gbps từ Mellanox Technologies và bộ đôi cổng Ethernet 10Gbps đi ra từ các bộ xử lý Xeon. Hệ thống này có bốn ổ SSD flash 1,92 TB để lưu trữ băng thông cao, cần thiết để giúp cho CPU và GPU làm việc và quan trọng là bộ nhớ cache cực nhanh cho các thuật toán học máy. DGX-1P phù hợp với chassis 3U và tiêu tốn 3200 watt trên tất cả các thành phần của nó.

>>> Xem thêm: cau hinh dell r550



Nếu Intel có cổng NVLink trên Xeons, hiệu năng chắc chắn sẽ cao hơn không nghi ngờ gì nữa, và có một lý do thuyết phục để Nvidia dự tính tạo ra một biến thể Power9 của DGX-1. Ví dụ, bạn có thể gọi nó là DGP-1V, nghĩa là sự kết hợp của bộ xử lý Power9, kết nối NVLink 2.0 và bộ tăng tốc Volta. Với các cổng NVLink trên CPU và sự kết hợp bộ nhớ cache trên bộ nhớ CPU và GPU, hiệu suất hiệu suất sẽ được cải thiện đáng kể.

Điều đó đưa chúng ta đến bước lặp mới của hệ thống Saturn V, dựa trên các hệ thống DGX-1V được nâng cấp đóng gói GPU Volta. Theo như chúng tôi biết, các hệ thống DGX-1V chưa được nâng cấp lên bộ xử lý của Sk Skakeake Xeon SP của Intel và không có lý do nào để làm như vậy khi xem xét rằng chúng có giá cao hơn thế hệ Xe Broadwell trước loại công việc .

Hệ thống máy Saturn V phiên bản mới sẽ giống một con mãnh long hơn, với 660 nodes và nó sử dụng bộ tăng tốc Tesla V100, rõ ràng có nhiều oomph hơn. Hệ thống Saturn V thế hệ thứ hai cùng có tám bộ tăng tốc GPU cho mỗi node, nhưng lần này là sử dụng kết nối NVLink 2.0 nhanh hơn để liên kết các GPU, chia sẻ bộ nhớ và luồng xử lý. Cụm này có tổng cộng 5.280 bộ tăng tốc GPU Volta, mang lại 80 petaflops hiệu suất cực đại ở single-precision và 40 petaflops ở double-precision, theo lý thuyết sẽ làm cho nó nằm trong số mười hệ thống hàng đầu trên thế giới ngay cả ở “double precision floating point”. Nhờ tính năng hỗ trợ Tensor Core, hệ thống sẽ có hiệu suất hiệu quả đối với khối lượng công việc học máy của 660 petaflops (đó là sự pha trộn giữa FP32 và FP16).

Đối với bảng xếp hạng Green 500 và Top 500 vào tháng 11, Nvidia chỉ thử nghiệm một phần 33 nút của máy Saturn V thế hệ tiếp theo. Hệ thống đặc biệt này có hiệu suất cực đại về mặt lý thuyết là 1,82 petaflop với độ chính xác gấp đôi và mang lại 1,07 petaflop trong thử nghiệm Linpack, cho hiệu quả tính toán là 58,8%. Mặc dù hiệu suất tính toán đó thấp hơn đáng kể so với Saturn V ban đầu, hệ thống này chỉ đốt cháy 97 kilowatt và dù sao cũng đã đạt được 15,1 gigaflop tuyệt vời trên mỗi watt trên Linpack. Với một loạt các điều chỉnh, hiệu suất có thể tăng lên và hiệu quả thậm chí còn cao hơn.

Dù hệ thống máy Saturn V thế hệ tiếp theo có chi phí Nvidia để xây dựng và sau đó bán cho chính nó, điều này thể hiện một khoản đầu tư khá lớn cho bất kỳ công ty nào. Mọi người có thể nghĩ rằng Nvidia đang bán máy cho chính nó với chi phí, nhưng không quá nhanh về điều đó. Nvidia có thể có một bộ phận hoặc nhiều bộ phận đang sử dụng nó mua nó từ nhóm trung tâm dữ liệu Tesla với giá đầy đủ và tăng đáng kể doanh thu được báo cáo trong đơn vị Tesla đó. Chúng tôi nghĩ rằng công ty sẽ phân chia sự khác biệt. Nhưng nó sẽ không ở đâu thấp như những gì Bộ năng lượng Hoa Kỳ đang chi trả cho các hệ thống của Hội nghị thượng đỉnh Hồi giáo và Giới hạn Sierra cho Phòng thí nghiệm quốc gia Oak Ridge và Phòng thí nghiệm quốc gia Lawrence Livermore. Họ đang nhận được hai máy với đỉnh kết hợp là 325 petaflop với giá $ 325 triệu. Nếu hai phần ba flops thực sự có thể chạy Linpack trong các máy này, đây là khoảng 15.000 đô la mỗi teraflop. Chính phủ Mỹ đang nhận được một thỏa thuận khá, thực sự. Sau đó, một lần nữa, chú Sam đã trả tiền cho việc phát minh ra công nghệ này, vì vậy có điều đó.

Ngoài các nguồn cấp dữ liệu và tốc độ và chi phí tiềm năng của hệ thống Saturn V thế hệ tiếp theo, có những cân nhắc về kiến trúc hệ thống và mạng để nghĩ đến khi xây dựng một hệ thống như vậy. Phil Rogers, một kiến trúc sư máy chủ tại Nvidia, đã mô tả tại một phiên tại SC17 về cách cấu trúc của máy Saturn V mới.

>>> Xem thêm: may chu dell r650