MLPerf Storage v3.0 bổ sung lớp dữ liệu S3 vào khuôn khổ POSIX hiện có, cùng với các khối lượng công việc bộ nhớ đệm KV và cơ sở dữ liệu vector mới, nhằm căn chỉnh chặt chẽ các tiêu chí đánh giá hiệu năng với các yêu cầu hệ thống dữ liệu AI hiện đại.
Được phát triển bởi MLCommons, công cụ đánh giá hiệu năng lưu trữ MLPerf ban đầu đánh giá hiệu năng lưu trữ cho các khối lượng công việc huấn luyện máy học bao gồm Unet3D, Cosmoflow và Resnet50, sử dụng phần cứng GPU NVIDIA A100 và H100. Bản phát hành v3.0 có cấu trúc lại bài kiểm tra toàn diện, tập trung vào bốn kịch bản khối lượng công việc cốt lõi.
Khuôn khổ kiểm tra cập nhật bao gồm huấn luyện AI dựa trên Unet3D và RetinaNet, đo lường khả năng mở rộng bộ tăng tốc tối đa trong khi duy trì mức sử dụng trên 90%, mô phỏng trên GPU NVIDIA B200 hoặc AMD MI355. Nó cũng bao gồm việc kiểm tra checkpointing cho các mô hình kiểu Llama 3 từ 8B đến 1.25T tham số, ưu tiên độ trễ thấp cho 10 vòng lặp ghi và đọc lặp đi lặp lại. Ngoài ra, bộ công cụ còn tích hợp kiểm tra cơ sở dữ liệu vector trên tập dữ liệu Milvus 1 triệu chiều 1536 chiều để tối đa hóa thông lượng truy vấn trong khi theo dõi độ trễ và tỷ lệ thu hồi, cộng với kiểm tra bộ nhớ đệm KV để đánh giá khả năng hỗ trợ hội thoại đồng thời tối đa.
Brian Belgodere, Đồng Chủ tịch Nhóm Công tác MLPerf Storage, cho biết danh mục kiểm tra mới làm phong phú thêm phạm vi đánh giá hiệu năng cho các nhu cầu lưu trữ suy luận AI chính thống. Bộ công cụ cập nhật cân bằng giữa các bài kiểm tra tập trung vào huấn luyện và checkpointing với các đánh giá bộ nhớ đệm KV và cơ sở dữ liệu vector hướng tới suy luận. Bằng cách phân rã các hệ thống AI tích hợp thành các đánh giá khối lượng công việc lưu trữ được nhắm mục tiêu, bao gồm checkpointing, bộ nhớ đệm KV và xử lý truy vấn vector, công cụ đánh giá hiệu năng cho phép các chuyên gia trong ngành tối ưu hóa tốt hơn các cấu hình cơ sở hạ tầng AI và loại bỏ các điểm nghẽn hiệu năng lưu trữ.
Lớp lưu trữ đối tượng S3 mới được bổ sung hỗ trợ các bài kiểm tra huấn luyện, checkpointing và cơ sở dữ liệu vector một phần, với khoảng một phần sáu tổng số lượt gửi v3.0 áp dụng truy cập lưu trữ dựa trên S3.
Curtis Anderson, một Đồng Chủ tịch Nhóm Công tác khác, lưu ý rằng khi ngữ cảnh AI mở rộng lên hàng nghìn tỷ token, lưu trữ đối tượng đang nổi lên như một giải pháp thay thế khả thi, thậm chí ưu việt hơn so với lưu trữ hệ thống tệp truyền thống. Hỗ trợ S3 gốc trong v3.0 cung cấp dữ liệu hiệu năng minh bạch để hướng dẫn các quyết định triển khai lưu trữ doanh nghiệp.
Tổng cộng 19 nhà cung cấp đã gửi kết quả cho chu kỳ đánh giá hiệu năng này. Đáng chú ý, các nhà cung cấp lưu trữ doanh nghiệp lớn truyền thống bao gồm DDN, Dell, Huawei, IBM, NetApp, VAST Data và WEKA đã vắng mặt trong danh sách gửi kết quả. Các quan chức MLPerf nhận xét rằng các nhà cung cấp NAS truyền thống có sự tham gia hạn chế, với hầu hết các nhà cung cấp hiện tại đều không tham gia vòng mới nhất.
Do bối cảnh lưu trữ AI đa dạng, v3.0 không công bố một bảng xếp hạng tổng thể duy nhất. Thay vào đó, nó cung cấp kết quả độc lập cho bốn loại khối lượng công việc với các chỉ số đa chiều. Tập dữ liệu kết quả hoàn chỉnh bao gồm khoảng 145 hàng và 55 cột, tổng cộng gần 8.000 ô dữ liệu, với 12 cột dành riêng cho các chỉ số hiệu năng bộ nhớ đệm KV. Chúng bao gồm thông lượng, băng thông đọc/ghi và độ trễ P95 trong cả kiến trúc chỉ lưu trữ và kiến trúc lưu trữ+bộ nhớ cho các khối lượng công việc mô hình Llama 8B và 70B.
MLCommons cũng khuyến nghị đánh giá hiệu năng tiêu chuẩn hóa dựa trên mật độ trên mỗi giá đỡ và hiệu quả năng lượng trên mỗi watt để đo lường hiệu quả hoạt động tổng thể của cơ sở hạ tầng.
Bộ công cụ đánh giá hiệu năng cập nhật có logic đánh giá cực kỳ phức tạp, cho phép các nhà cung cấp tùy chọn gửi kết quả cho các khối lượng công việc được nhắm mục tiêu. Ví dụ, chỉ có NewFW, Samsung, Suzhou Zishan và TTA gửi kết quả kiểm tra cơ sở dữ liệu vector.
Everpure báo cáo hiệu năng hàng đầu cho FlashBlade//EXA của mình trên các bài kiểm tra checkpointing và bộ nhớ đệm KV cho các mô hình 405B và 1.25T tham số. Được triển khai trên 30 nút dữ liệu để hỗ trợ 1.024 bộ tăng tốc mô phỏng, nền tảng này đạt băng thông ghi 877,52 GiB/s (hoàn thành trong 17,74 giây) và băng thông đọc 588,28 GiB/s (hoàn thành trong 28,99 giây) cho checkpointing mô hình 1.25T. Hiệu năng của nó đã tăng tuyến tính từ thông lượng ghi 327,65 GiB/s trên 10 nút lên kết quả đỉnh 30 nút.
Dữ liệu bổ sung cho thấy các lượt gửi ghi checkpoint tại chỗ mang lại hiệu quả năng lượng trung bình là 14 GB/s trên mỗi watt, với mức đỉnh là 201 GB/s trên mỗi watt. Trong khi đó, các bài kiểm tra đọc UNet3D ghi nhận hiệu quả trung bình là 34 GB/s trên mỗi watt và tối đa là 277 GB/s trên mỗi watt.
Công ty TNHH Công nghệ Bắc Kinh Qianxing Jietong
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Trọng tâm Kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng Công nghệ để Xây dựng Thế giới Thông minh” Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!
Vietnamese
