Thông số kỹ thuật đầy đủ:

Khóa hệ thống (yêu cầu iDRAC9 Enterprise hoặc Datacenter)

Làm mát

Làm mát bằng không khí

Khuyến nghị ba người nâng.

≥ 121 pound

Cần có bàn nâng máy chủ.

Mặc dù có sự phức tạp và khuyến nghị của Dell về các kỹ thuật viên dịch vụ chuyên dụng, XE9680 có các yếu tố dịch vụ thân thiện với người dùng đáng kể. Các bảng điều khiển của máy chủ bao gồm các hướng dẫn dịch vụ chi tiết và đồ họa rõ ràng, làm cho các quy trình bảo trì trở nên dễ tiếp cận một cách đáng ngạc nhiên đối với nhân viên CNTT có kinh nghiệm. Các hướng dẫn trực quan này đã chứng tỏ là vô giá trong quá trình sử dụng thực tế của chúng tôi với hệ thống, cho phép chúng tôi bảo trì các thành phần khác nhau một cách tự tin.

Sau khi mở nắp PowerEdge XE9680, sau khi bạn vượt qua vô số dây nguồn từ bộ nguồn nhỏ phía trên, nó trông giống như PowerEdge R760. Đơn vị của chúng tôi được cung cấp bởi hai bộ xử lý Intel Xeon Platinum 8468, mỗi bộ có 48 lõi ở tốc độ 2,1Ghz. Mỗi bộ xử lý cung cấp 80 làn PCIe, chảy qua khá nhiều bộ chuyển mạch PCIe trong đơn vị này để hỗ trợ GPU, NIC và các phần cứng khác được tải vào XE9680.

Một trong những tính năng kỹ thuật ấn tượng nhất là thiết kế Bảng chuyển mạch PCIe (PSB). Các bảng này cung cấp kết nối cho tối đa 10 thẻ PCIe có chiều cao đầy đủ, chiều dài một nửa bổ sung (hai trong số đó có thể vượt quá mức tiêu thụ điện 75W) và tích hợp trực tiếp với bo mạch GPU. Tích hợp trực tiếp này cho phép công nghệ GPU-direct, cho phép SSD và thẻ mạng giao tiếp trực tiếp với GPU, bỏ qua CPU và giảm độ trễ cho các tác vụ AI chuyên sâu về I/O.

Mỗi khe cắm mở rộng hỗ trợ giao diện PCIe Gen5 x16 đầy đủ, bao gồm hai khe cắm thấp hơn ở phía ngoài cùng bên trái và bên phải của bố cục. Trong khi tám khe cắm phía trên được kết nối thông qua PSB riêng, hai khe cắm thấp hơn kết nối trực tiếp với Bo mạch PCIe (PBB). Hai khe cắm này cũng hỗ trợ các thẻ tiêu thụ điện năng cao. Ngoài ra, cần lưu ý rằng bố cục PCIe hơi khác nhau tùy thuộc vào loại GPU được chọn cho PowerEdge XE9680. Các mẫu trang bị AMD không hỗ trợ SmartNIC/DPU và các mẫu Intel Gaudi3 có hai khe cắm bị chặn do vấn đề luồng không khí.

Làm mát là một lĩnh vực khác mà chuyên môn kỹ thuật của Dell tỏa sáng. Hệ thống sử dụng tới 16 quạt hiệu suất cao cấp vàng — sáu quạt ở khay giữa và mười quạt ở phía sau. PowerEdge XE9680 hỗ trợ nhiều kịch bản cài đặt, với nhiệt độ môi trường dao động từ 10 đến 35°C (30°C với GPU Intel Gaudi3). Ở chế độ hoạt động tối đa, máy chủ di chuyển 1.200CFM ấn tượng vào luồng khí nóng.

Giải pháp làm mát mạnh mẽ này xử lý ngay cả các tải nhiệt khắc nghiệt nhất, bao gồm GPU AMD MI300X, Intel Gaudi3 hoặc NVIDIA H100, đồng thời duy trì nhiệt độ hoạt động tối ưu. PowerEdge XE9680 phát ra tiếng khá lớn dưới tải về mặt tiếng ồn. Dell cung cấp một bảng thông số âm thanh đầy đủ cho XE9680 trong các tình huống khác nhau, nhưng khá dễ dàng để nói rằng nó sẽ là một nền tảng ồn ào dưới tải.

Quản lý

Khả năng quản lý của XE9680 được xây dựng dựa trên iDRAC9 đã được chứng minh của Dell, cung cấp khả năng quản lý và giám sát vòng đời máy chủ toàn diện. Phiên bản iDRAC này mang đến nhiều tính năng được tối ưu hóa cho AI, bao gồm đo lường chi tiết GPU, phân tích tiêu thụ điện năng và giám sát nhiệt độ mở rộng được thiết kế cho các tác vụ AI mật độ cao.

Ngăn xếp quản lý của nền tảng đặc biệt đáng chú ý cho các triển khai cơ sở hạ tầng AI. Thông qua API RESTful của iDRAC9 với hỗ trợ Redfish, các tổ chức có thể lập trình giám sát và quản lý việc sử dụng GPU, băng thông bộ nhớ và điều kiện nhiệt độ — các chỉ số quan trọng để duy trì hiệu suất đào tạo và suy luận AI tối ưu. Tích hợp hệ thống với OpenManage Enterprise cho phép quản lý toàn bộ nhiều XE9680 thông qua một bảng điều khiển hợp nhất, điều này rất cần thiết cho các cụm AI quy mô lớn.

Bảo mật và tuân thủ là các yếu tố nền tảng của kiến trúc quản lý. Nền tảng triển khai Silicon Root of Trust và Xác minh thành phần an toàn, đảm bảo tính toàn vẹn của phần cứng từ khi khởi động đến khi hoạt động. Các tính năng này đặc biệt có giá trị khi chạy các tác vụ AI nhạy cảm hoặc xử lý trọng số mô hình độc quyền.

Khả năng phân tích lỗi dự đoán, được cung cấp bởi tích hợp CloudIQ, sử dụng máy học để dự báo các sự cố phần cứng tiềm ẩn trước khi chúng ảnh hưởng đến các tác vụ. Cách tiếp cận chủ động này đặc biệt quan trọng đối với các tác vụ đào tạo AI kéo dài, nơi thời gian ngừng hoạt động bất ngờ có thể dẫn đến mất nhiều ngày tính toán. Khi kết hợp với dịch vụ ProSupport Plus của Dell, khả năng dự đoán này sẽ kích hoạt việc tạo trường hợp tự động và điều phối bộ phận, thường dẫn đến bảo trì phòng ngừa trước khi xảy ra suy giảm hệ thống.

Đối với các tổ chức yêu cầu tích hợp với các công cụ quản lý hiện có, XE9680 hỗ trợ nhiều khuôn khổ quản lý thông qua các tích hợp OpenManage, bao gồm ServiceNow và BMC TrueSight, cho phép tích hợp liền mạch vào quy trình quản lý dịch vụ CNTT đã thiết lập.

Giao diện iDRAC9 cung cấp giám sát thời gian thực chi tiết các thành phần quan trọng thông qua bảng điều khiển trực quan. Giám sát GPU hiển thị các chỉ số toàn diện, bao gồm nhiệt độ, tiêu thụ điện năng và tỷ lệ sử dụng trên tất cả tám bộ tăng tốc, rất cần thiết để tối ưu hóa phân phối tác vụ AI.

Giao diện giám sát lưu trữ cung cấp khả năng hiển thị tức thì về tình trạng ổ đĩa, nhiệt độ và các chỉ số hiệu suất trên mảng NVMe, điều này đặc biệt có giá trị khi quản lý bộ nhớ đệm suy luận thông lượng cao và tập dữ liệu đào tạo.

Bộ nhớ, Lưu trữ và Khả năng mở rộng

Tám GPU AMD MI300X bên trong Dell PowerEdge XE9680 đại diện cho một bước nhảy vọt đáng kể về dung lượng bộ nhớ GPU, cung cấp 192GB bộ nhớ HBM3 mỗi thẻ so với 141GB của NVIDIA H200. Mức tăng 36% dung lượng bộ nhớ này không chỉ là một con số trên bảng thông số kỹ thuật — nó rất quan trọng cho việc triển khai các mô hình ngôn ngữ lớn.

Kho bộ nhớ khổng lồ này, cùng với băng thông bộ nhớ 5,3 TB/s của MI300X, cho phép các tổ chức chạy nhiều phiên bản của các mô hình nhỏ hơn hoặc phân chia các mô hình lớn hơn trên các GPU trong khi vẫn duy trì thông lượng cao và độ trễ thấp.

Để hình dung, mô hình Llama 3.1 405B của Meta, yêu cầu hơn 1TB VRAM ở BF16, có thể được phân phối thoải mái trên một XE9680 duy nhất với GPU MI300X mà không cần lượng tử hóa và độ dài ngữ cảnh đầy đủ 128k. Điều này loại bỏ khả năng mất chất lượng tiềm ẩn liên quan đến các kỹ thuật lượng tử hóa và cho phép nhiều Token/Giây hơn so với việc mô hình được phân phối trên hai máy chủ.

Để tối đa hóa dung lượng lưu trữ của chúng tôi, chúng tôi đã sử dụng các ổ Solidigm 61,44TB làm phần mở rộng tinh vi cho bộ nhớ, thu hẹp khoảng cách giữa bộ nhớ GPU tốc độ cao và bộ lưu trữ truyền thống. SSD vượt trội trong việc lưu trữ các cặp khóa-giá trị trong bộ nhớ đệm trong quá trình suy luận, kéo dài hiệu quả dung lượng bộ nhớ của GPU cho các thế hệ ngữ cảnh dài. Dung lượng khổng lồ và hiệu suất NVMe của chúng làm cho chúng trở nên lý tưởng để truy cập trọng số mô hình nhanh chóng, cho phép chuyển đổi mô hình hiệu quả và khởi động nóng.

Trong các ứng dụng như triển khai Metrum AI mà chúng tôi trình bày chi tiết bên dưới, SSD thực hiện nhiệm vụ kép là bộ lưu trữ backend cho cơ sở dữ liệu vector, cung cấp hiệu suất cần thiết cho các tìm kiếm tương tự theo thời gian thực trong khi vẫn duy trì dung lượng lưu trữ nhúng phong phú.

Giá trị của các ổ dung lượng cao này vượt ra ngoài suy luận đến các quy trình đào tạo. Chúng cung cấp bộ lưu trữ cục bộ lý tưởng để xếp hàng các lô đào tạo, giảm tải mạng bằng cách giữ dữ liệu gần với tài nguyên tính toán hơn. Trong quá trình đào tạo, các ổ này vượt trội trong việc lưu trữ cục bộ các điểm kiểm tra mô hình, điều này rất quan trọng để duy trì tiến trình đào tạo và cho phép phục hồi nhanh chóng. Chiến lược lưu trữ cục bộ này cũng giúp tối ưu hóa việc sử dụng mạng bằng cách giảm lưu lượng mạng tức thời sau mỗi lớp và lô được xử lý.

Mặc dù dung lượng 61,44TB trên tám ngăn trong XE9680 có vẻ hứa hẹn, nhưng còn nhiều dung lượng hơn nữa sắp ra mắt. Với ổ đĩa 122,88TB mới được Solidigm công bố, mật độ lưu trữ trong XE có thể tăng gấp đôi lên gần một petabyte để tối ưu hóa đào tạo thêm và bộ nhớ đệm suy luận tồn tại lâu hơn.

Trợ lý Y tế Metrum AI – Cách mạng hóa Chăm sóc Bệnh nhân

Lĩnh vực chăm sóc sức khỏe liên tục đối mặt với thách thức trong việc quản lý tài liệu bệnh nhân và hồ sơ tốn thời gian, điều này thường làm giảm sự tập trung vào chăm sóc bệnh nhân trực tiếp. Trợ lý Y tế của Metrum AI, được triển khai trên các máy chủ Dell PowerEdge XE9680 với bộ tăng tốc AMD, minh họa cách cơ sở hạ tầng AI tiên tiến có thể chuyển đổi quy trình làm việc chăm sóc sức khỏe, nâng cao hiệu quả và cải thiện kết quả bệnh nhân.

Hệ thống sử dụng Llama 3.1 70B Instruct làm mô hình ngôn ngữ chính, nổi tiếng về khả năng hiểu ngữ cảnh y tế. Điều này cho phép nó xử lý dữ liệu bệnh nhân phức tạp một cách dễ dàng. Mô hình ngôn ngữ này được kết hợp với mô hình nhúng gte-v1.5 và Milvus Vector DB, cung cấp một nền tảng mạnh mẽ cho xử lý ngôn ngữ tự nhiên và hiểu ngữ cảnh cần thiết để xử lý dữ liệu y tế.

~10,5 GB

~105 GB

543