Đây là một khái niệm thú vị: ZettaLane đã xây dựng MayaNAS, một hệ thống tệp song song Lustre hỗ trợ NFS, pNFS và SMB, chạy trên nền lưu trữ đối tượng đám mây.
MayaNAS có thể truyền đào tạo AI ở tốc độ GPU, cung cấp hiệu suất điểm kiểm tra hàng chục gigabyte mỗi giây và phù hợp với hồ sơ chi phí đối tượng.Nó đạt 32.42 GB/s Llama 3 70B checkpoint write bandwidth trên hai máy khách. Đối với tải công việc RetinaNet, một máy khách MayaScale 200 Gb/s đã cung cấp 72 GPU B200.
Có trụ sở tại Santa Clara, California, ZettaLane được thành lập vào tháng 6 năm 2018 bởi CTO Supramani (Sam) Sammandam,một kỹ sư lưu trữ dày dạn với hơn 25 năm kinh nghiệm hệ thống phần mềm tại Lucent TechnologiesCông ty hoạt động hoàn toàn mà không cần vốn mạo hiểm.
MayaNAS kết hợp Lustre và OpenZFS để định hình lại nền kinh tế lưu trữ.Mỗi OST (Object Storage Target) hoạt động như một bộ dữ liệu OpenZFS có vdevs trỏ đến các thùng lưu trữ đám mây Google cấp chuẩn khu vựcDữ liệu hàng loạt đọc và ghi đi đồng thời để lưu trữ đối tượng thông qua lớp objbacker của nó, trong khi một vdev đặc biệt dựa trên NVMe nhỏ gọn chỉ lưu trữ metadata và các khối nhỏ.Không có ổ SSD cục bộ hoặc lớp cào tạm thời nằm trong đường dẫn dữ liệu.
Supramani (Sam) Sammandam đã bình luận: Trong kết quả của MLPerf Storage v3.0,ZettaLane's MayaNAS là tiêu chuẩn đầu vào duy nhất chạy Lustre trực tiếp trên lưu trữ đối tượng đám mây using sử dụng GCS khu vực trong đường dẫn dữ liệu trên các máy ảo đám mây chung, không có SSD cục bộ, hoạt động bên trong tài khoản đám mây của khách hàng.
- Được xác minh bởi MLCommons, nó chiếm một loại khác so với các trình đơn dựa trên flash như Everpure.thay vì chỉ tập trung vào số GiB/s thô. Nó thực hiện toàn bộ các đường ống mà không cần phân đoạn dữ liệu vào NVMe, bao gồm cả các bộ nhớ cache KV phụ thuộc POSIX mà các nền tảng gốc S3 không thể hỗ trợ.
Chúng tôi đưa ra một điểm so sánh: có phải MayaNAS giống Nasuni, xây dựng các dịch vụ tập tin trên các backend lưu trữ đối tượng?
Sammandam đã trả lời: "Tại một mức độ cao có sự tương đồng: cả hai đặt một hệ thống tệp trên lưu trữ đối tượng.Chúng tôi đi một con đường khác., dựa trên OpenZFS đã được chứng minh trên thực địa với sự phân chia bản địa giữa siêu dữ liệu được lưu trữ trên các thiết bị NVMe nhỏ và dữ liệu hàng loạt nằm trên lưu trữ đối tượng.Chúng tôi đã chia sẻ công việc này tại Hội nghị thượng đỉnh nhà phát triển OpenZFS 2025 và trình bày thiết kế Lustre của chúng tôi tại LUG 2026.
Nasuni theo mô hình cache-first: các file edge phục vụ lưu lượng truy cập từ các cache cục bộ trong khi các bản sao có thẩm quyền vẫn còn trong bộ lưu trữ đối tượng, vì vậy hiệu suất phụ thuộc rất nhiều vào việc cài đặt bộ nhớ cache.MayaNAS đọc và ghi trực tiếp vào đối tượng mà không có bộ nhớ cache dữ liệu cục bộ trung gian. Trong thử nghiệm MLPerf, cold object đọc tải công việc quy mô GPU hài lòng, được xác nhận thông qua các số liệu giám sát đám mây Google gốc.
Sự khác biệt cơ bản hơn nằm trong bản chất của nó: MayaNAS là một hệ thống tệp song song tiêu chuẩn Lustre và pNFS, với khả năng NFS / SMB, làm việc với các khách hàng Linux không sửa đổi trong lõi.Nó được xây dựng đặc biệt cho tốc độ thông lượng song song quy mô GPU, làm cho nó phù hợp với các tiêu chuẩn như MLPerf. Việc thực hiện pNFS gốc đám mây của chúng tôi tận dụng công nghệ MDS mã nguồn mở từ LANL. Nasuni nhắm mục tiêu các trường hợp sử dụng tập tin doanh nghiệp phân tán;MayaNAS bao gồm NAS doanh nghiệp trong khi mở rộng trực tiếp vào khối lượng công việc song song HPC và AI trên lưu trữ đối tượng.
Điều đó nắm bắt được ý tưởng cốt lõi. Lưu trữ đối tượng rõ ràng là hướng đi về phía trước cho cơ sở hạ tầng AI, tuy nhiên việc áp dụng thường buộc phải viết lại ứng dụng để tương thích với S3. MayaNAS giải quyết điều này:tiêu chuẩn Lustre hoặc pNFS chạy trên bộ lưu trữ đối tượng, cấp lợi ích chi phí ở cấp đối tượng với không thay đổi mã.
Có các thành phần khác dưới kiến trúc này: nội bộ OpenZFS trên đối tượng, pNFS cùng với tích hợp LANL MDS, lưu trữ khối MayaScale NVMe trên TCP,và Postgres phân nhánh cho AI đại lý, tất cả được xây dựng trên nền tảng chung này.
Bản ghi chú khởi động
Sau khi xuất bản, Sammandam đã cung cấp các cập nhật bổ sung: ZettaLane bắt đầu như một LLC vào năm 2018.bao gồm cả một vị trí nhân viên kỹ thuật trong Dell ISG Office của CTOTôi trở lại toàn thời gian vào năm 2026 để thúc đẩy sự phát triển lưu trữ song song.và MLCommons MLPerf xác nhận cho sự tự tin để đưa sản phẩm đến công chúngCác điểm chuẩn này sử dụng các bộ dữ liệu lớn hơn 20 TB cùng với hàng triệu tệp, với kết quả được các nhà nộp khác, bao gồm cả các tập đoàn lớn, xem xét.
¢ Tài trợ vẫn được khởi động hoàn toàn và tự tài trợ mà không có đầu tư bên ngoài, như đã đề cập trước đây.
Để minh bạch, chúng tôi chưa có việc triển khai khách hàng sản xuất nổi bật.và những kết quả MLPerf phục vụ như là bằng chứng chính của chúng tôi giá trị cho tiếp cận thị trườngChúng tôi hy vọng sẽ có được sự hợp tác từ một trong những nhà cung cấp hàng đầu về lưu trữ đồ vật.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Người liên hệ: Ms. Sandy Yang
Tel: 13426366826
Vietnamese
