Review Dell R760XA tối ưu hóa cho GPUs PCIe lý tưởng cho ứng dụng AI

Trí tuệ nhân tạo

Trí tuệ nhân tạo (AI - Artificial Intelligence), Học máy (ML - Machine Learning) và Học sâu (DL - Deep Learning) là những khái niệm đang ngày càng trở nên phổ biến và là một yếu tố “trendy” trong lĩnh vực công nghệ.

Trong đó, AI (Artificial Intelligence) là một khái niệm chung được biết đến từ những năm 1950, nó ám chỉ tất cả những thiết bị máy móc có khả năng bắt chước được hành vi và suy nghĩ của con người.

ML (Machine Learning) là khái niệm nằm bên trong AI. ML là một trong những cách thức để đạt được AI. Với ML, con người sẽ kết hợp các giải thuật (algorithm) và các mô hình thống kê (statistical model) để giúp các thiết bị máy móc học được từ những dữ liệu có sẵn và những điều đã xảy ra trong quá khứ để tự biết cách xử lý những vấn đề sẽ xảy ra trong tương lai thay vì phải lập trình một cách chính xác cho thiết bị biết phải xử lý như thế nào.

Còn DL (Deep Learning) là một trong nhiều cách để tiếp cận ML bên cạnh các hình thức khác như cây học tập quyết đinh (decision tree learning), lập trình logic quy nạp (inductive logic programming), phân cụm (clustering), học tăng cường (reinforcement learning), v.v… DL phương pháp mô phỏng lại cách thức hoạt động của các tế bào não, thực hiện phân tích suy luận qua nhiều lớp và tương tác qua lại lẫn nhau.

GPUs NVIDIA sự đổi mới và hiệu quả cho Trí Tuệ Nhân Tạo

Trước tiên, hãy bắt đầu bằng việc đề cập đến tình huống nếu bạn muốn huấn luyện các mô hình cơ bản ngày nay, như ChatGPT chẳng hạn, thì NVIDIA H100 80GB SXM5 vẫn là lựa chọn hàng đầu. Khi mô hình cơ bản đã được huấn luyện, việc tùy chỉnh mô hình dựa trên dữ liệu chuyên ngành hoặc thực hiện các công việc dự đoán thường có thể được thực hiện trên các phần vật lý có chi phí và công suất điện tiêu thụ thấp hơn nhiều.

Dell Technologies cung cấp nhiều lựa chọn máy chủ được tối ưu hóa khả năng tăng tốc với danh mục máy tăng tốc phong phú có GPUs NVIDIA.

Trong thiết kế này, SSN giới thiệu ba máy chủ Dell PowerEdge được thiết kế riêng cho mục đích sáng tạo AI:

Máy chủ PowerEdge R760xa, có khả năng hỗ trợ tới bốn GPU NVIDIA H100 hoặc bốn GPU NVIDIA L40

Máy chủ PowerEdge XE8640, hỗ trợ 4 GPU NVIDIA H100

Máy chủ PowerEdge XE9680, hỗ trợ 8 GPU NVIDIA H100

>>> Xem thêm: hp proliant DL360 gen10 plus



Dell R760xa & NVIDIA GPUs

Cấu hình và kết nối cho GPUs NVIDIA

Trong phần này, SSN mô tả các tùy chọn cấu hình và kết nối cho GPUs NVIDIA cũng như cách áp dụng các kết hợp máy chủ-GPUs Dell R760xa

Máy chủ Dell PowerEdge R760xa là một trong những sản phẩm cao cấp của Dell được thiết kế để đáp ứng nhu cầu xử lý dữ liệu và tích hợp các giải pháp công nghệ hiện đại. Được trang bị bộ vi xử lý Intel Xeon Scalable thế hệ thứ 4 cực kỳ mạnh mẽ và linh hoạt, rất phù hợp với khối lượng công việc đòi hỏi khắt khe của doanh nghiệp và trung tâm dữ liệu bao gồm các ứng dụng nặng như AI và ML.

NVIDIA H100 SXM GPUNVIDIA H100 PCIe GPUNVIDIA L40 PCIe GPU

Supported latest PowerEdge servers (and maximum number of GPUs) PowerEdge XE9680 (8)

PowerEdge XE8640 (4)

PowerEdge R760xa (4)

PowerEdge R760 (2)

PowerEdge R760xa (4)

PowerEdge R760 (2)

GPU memory 80 GB 80 GB 48 GB

Form factor SXM PCIe (dual width, dual slot) PCIe (dual width, dual slot)

GPU interconnect 900 GB/s PCIe 600 GB/s NVLink Bridge supported in PowerEdge R760xa

128 GB/s PCIe Gen5

None

Multi-instance GPU support Up to 7 MIGs Up to 7 MIGs None

Decoders 7 NVDEC

7 JPEG

7 NVDEC

7 JPEG

3 NVDEC

3 NVENC

Max thermal design power (TDP) 700 W 350 W 300 W

NVIDIA AI Enterprise Add-on Included with H100 PCIe Add-on

Most applicable use cases Generative AI training

Large-scale distributed training

Discriminative/Predictive AI Training and Inference

Generative AI Inference

Small scale AI

Visual computing

Discriminative/Predictive AI Inference

>>> Xem thêm: proliant DL360 gen10 plus



Hỗ trợ dòng Chip cao nhất

Dell PowerEdge R760xa hỗ trợ tất cả các CPU Xeon Scalable, hỗ trợ dòng Chip cao nhất là Platinum 8480+ 56 Core mạnh mẽ, có thể cung cấp lưu trữ 8TB tốc độ 4800MT/s bộ nhớ DDR5 và PCIe Gen5. Điều này giúp cải thiện hiệu năng và tăng khả năng xử lý dữ liệu của máy chủ.

Thiết kế của máy chủ Dell PowerEdge R760xa

Nhìn vào mặt trước của máy chủ Dell R760xa được thiết kế với các cổng kết nối và đèn LED hiển thị. Cụ thể, máy chủ này có 1 cổng USB 2.0, 1 cổng VGA và 1 cổng iDRAC Direct(Micro-AB USB) port. Đèn LED hiển thị trên mặt trước của máy chủ này giúp người dùng dễ dàng theo dõi tình trạng hoạt động của máy chủ. Bên cạnh đó, PowerEdge R760xa được thiết kế với 6 hoặc 8 bays ổ đĩa ở giữa và tấm lưới tản nhiệt lớn tạo luống khí tản nhiệt thông minh hiệu quả

Thiết kế bên trong, PowerEdge R760xa được thiết kế gọn gàng với 2 CPU được bao phủ bởi các bộ tản nhiệt (heatsink) và mỗi CPU là 16 khe cắm DIMM, máy chủ này hỗ trợ tối đa 8TB RAM. Một điểm nổi bật của Dell R760xa trong thiết kế, khi các GPU công suất cao được đưa ra 2 bên phía trước của khung máy, khi các GPU có thể tiếp cận trực tiếp với các luồng khí và được hút thông qua 6 quạt. Ở đây bạn có thể lắp 4 GPU double-width hoặc 8 GPU single-width tùy theo yêu cầu sử dụng của bạn.

Phía sau, Dell PoweEdge R760xa có 2 riser có thể sử dụng để lắp 4 GPU hoặc I/O có năng lượng thấp, single-width.Tất cả các khe cắm đều là x16, điều này tạo cơ hội tốt để sử dụng các mạng tốc độ cao, chẳng hạn như các card NIC 200GbE hoặc 400GbE.

Công ty cổ phần thương mại Máy Chủ Hà Nội

Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

- Hotline: 0979 83 84 84

- Tel: 024 6296 6644

Chi nhánh HCM: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

- Hotline: 0945 92 96 96

- Tel: 028 2244 9399

- Email: [email protected]

- website: https://maychuhanoi.vn/

- facebook: https://www.facebook.com/maychuhanoi