MinIO đã phát triển một hệ thống bộ nhớ đệm MemKV quy mô petabyte phù hợp với GPU của Nvidia, được triển khai trên nền tảng lưu trữ đối tượng AIStor.
Các cụm GPU chạy suy luận yêu cầu bộ nhớ băng thông cao (HBM) để lưu trữ ngữ cảnh, token vectorized và cặp giá trị khóa trung gian (KV).các chuỗi dữ liệu xuống CPU DRAM và NVMe SSD, được quản lý bởi các DPU Nvidia BlueField-4 (BF4). Khi các lớp này đạt đến công suất, MinIO AIStor đóng vai trò là bản sao lưu lưu trữ cuối cùng. Kiến trúc STX của Nvidia điều hành hệ thống phân cấp bộ nhớ cache đa lớp này,và MemKV tuân thủ tiêu chuẩn để cung cấp bền, chia sẻ bối cảnh trên các cụm GPU ở quy mô cao hơn.
AB Periasamy, người đồng sáng lập và đồng CEO của MinIO, nhận xét: "Ngành công nghiệp đã bị mất bối cảnh trong nhiều năm vì, ở quy mô nhỏ, bạn có thể hấp thụ thuế tính lại.Với mật độ GPU cao ngày nay cho các siêu quy mô và neocloud, điều này không còn khả thi nữa.
Việc tính toán lại bối cảnh được tạo ra lãng phí năng lượng; đối với các cụm với hàng ngàn GPU, nó tạo ra sự không hiệu quả cơ cấu cơ bản.và MemKV được thiết kế đặc biệt cho đường dẫn dữ liệu này.
Lần đầu tiên, MinIO cho phép chia sẻ context pool cho toàn bộ GPU cluster ở mức độ trễ microsecond phù hợp với inference workflows,tránh sự chậm trễ hàng triệu giây từ lưu trữ bên ngoài thông thườngKhông có đủ cache, GPU sẽ lãng phí tài nguyên cho việc tính toán lại liên tục.
Trong việc triển khai 128 GPU với chiều dài ngữ cảnh token 128K, MemKV cải thiện thời gian đến token đầu tiên dưới tải trọng sản xuất và tăng tỷ lệ sử dụng GPU từ 50% lên hơn 90%,tạo ra một ước tính 2 triệu USD tiết kiệm chi phí tính toán hàng năm.
Được xây dựng đặc biệt cho kiến trúc Nvidia STX, MemKV hỗ trợ các công cụ lưu trữ cache Nvidia Dynamo và NIXL. Nó cung cấp petabyte bộ nhớ ngữ cảnh chia sẻ với chi phí ở mức SSD,giải ly mở rộng bộ nhớ cache từ các tài nguyên tính toán GPUCác tính năng chính của nó được liệt kê dưới đây:
-
Hỗ trợ STX gốc BF4: chạy như một bộ nhị phân ARM64 trong cơ sở hạ tầng STX, được nhúng trong lưu trữ thay vì các máy chủ lưu trữ x86 riêng biệt.
-
Giao thông RDMA từ đầu đến cuối: Chuyển cache KV giữa bộ nhớ GPU và NVMe qua RDMA, bỏ qua các giao thức lưu trữ tập tin và đối tượng thông thường.
-
Kích thước khối được tối ưu hóa bởi GPU: Sử dụng các khối 2 ∼16 MB cho nhu cầu thông lượng GPU, thay vì các khối lưu trữ 4 KB cũ.
-
Hiệu suất tốc độ dây: Được tối ưu hóa cho Nvidia Spectrum-X Ethernet và PCIe Gen6 để tối đa hóa thông lượng vải vật lý.
MemKV trực tiếp chuyển dữ liệu từ các ổ SSD NVMe sang các đường ống AI qua RDMA, loại bỏ HTTP overhead, dịch hệ thống tệp và máy chủ lưu trữ trung gian.
MinIO phân loại các giải pháp bộ nhớ ngữ cảnh đối thủ thành hai loại: không chia sẻ NVMe cục bộ (G3) và lưu trữ chung chung (G4).phân biệt mình với các sản phẩm lưu trữ chung.
Công ty nhấn mạnh rằng các nhà cung cấp G3.5 cũ vẫn giữ các nút giao thức dư thừa, dịch vụ siêu dữ liệu và lớp dịch tập tin.Các lớp này đảm bảo độ bền và tính nhất quán cho dữ liệu đào tạo và trọng lượng mô hình, nhưng chúng không cần thiết cho bộ nhớ KV tạm thời, có thể tính toán lại được tối ưu hóa cho các khối dữ liệu 2 16 MB.
Nhà cung cấp RAID phần cứng GRAID và công ty lưu trữ WEKA cũng cung cấp các giải pháp cache KV tương thích với STX. Một loạt các nhà cung cấp lưu trữ hỗ trợ Nvidia STX, bao gồm Cloudian, Dell, DDN, Everpure,Không gian búa, Hitachi Vantara, HPE, Lightbits / ScaleFlux, NetApp, Nutanix, Peak: AIO, Pliops và VAST Data.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Vietnamese
