CoreWeave đã triển khai một cụm NVIDIA Vera Rubin NVL72 đa giá đỡ trên CoreWeave Cloud, kết nối hàng trăm GPU Rubin vào một môi trường mở rộng hợp nhất được tối ưu hóa cho khối lượng công việc AI đại lý.Mỗi rack được sản xuất bởi Dell chứa 72 GPU Rubin và 36 CPU Vera, áp dụng NVLink 6 như là mô kết nối mở rộng, kết hợp với hai ConnectX-9 SuperNIC cho mỗi GPU. Các rack được kết nối qua NVIDIA Spectrum-X Ethernet trong một mô không chặn hai tầng,mà CoreWeave tuyên bố có thể mở rộng đến khoảng 128CoreWeave là nhà cung cấp đám mây đầu tiên xác nhận và kích hoạt thành công một hệ thống NVL72 của Vera Rubin, và là người đầu tiên công bố hiệu suất đo của nó.Kết quả so sánh được đánh giá hàng đầu của nó đã được công bố vào tuần trướcCùng với việc nâng cấp tính toán, CoreWeave AI Object Storage thêm tăng tốc ghi xuyên khu vực và một tầng Archive hoàn toàn mới.

Multi-Rack NVIDIA Vera Rubin NVL72 Kiến trúc

Việc triển khai đa giá đỡ này nhắm mục tiêu các luồng công việc thực thi đại lý, trong đó các vòng lý luận liên tục và các cuộc gọi công cụ bên ngoài khuếch đại độ trễ truy cập dữ liệu trên cơ sở hạ tầng phân tán.Hai ConnectX-9 SuperNICs được gắn vào mỗi Rubin GPU cung cấp lên đến 1.6 Tb / s băng thông mạng backend cho mỗi GPU trên các liên kết đa đường ray, nhiều mặt phẳng.Các giá đỡ hoạt động với 45 ° C làm mát chất lỏng.

CoreWeave hợp nhất các rack này bằng bộ phần mềm kiểm soát nhiệm vụ của nó.bao gồm phát hiện phần cứng thông qua nhấp nháy phần mềm máy móc, xác nhận, năng lượng và giám sát nhiệt.trong khi bộ điều khiển làm mát Valvey có thể lập trình cung cấp tầm nhìn và quản lý được xác định bởi phần mềm cho các mạch làm mát chất lỏng và cảm biến môi trường.

Các rack chỉ được sản xuất sau khi thử nghiệm xác thực từng giai đoạn. Ở cấp nút, điều này bao gồm nhiều giờ chẩn đoán GPU lặp đi lặp lại, xác minh chuyển giao CPU-GPU, kết nối và thử nghiệm tải nhiệt,cộng với khối lượng công việc đào tạo thực tế. Ở cấp rack, các công việc đồng bộ trên tất cả 72 GPU xác nhận thông lượng GPU-to-GPU NVLink; bất kỳ phần cứng nào giảm xuống dưới ngưỡng hiệu suất sẽ được khắc phục sự cố.CoreWeave chạy khối lượng công việc phân tán, cố tình vô hiệu hóa NVLink để buộc lưu lượng truy cập qua mạng hậu端, và giám sát cấu trúc vật lý cho các liên kết không ổn định, tỷ lệ lỗi tăng lên, các thành phần quá nóng và lưu lượng không cân bằng.Trọng lượng thử nghiệm bắt chước các ứng dụng đại lý, với sự gia tăng nhu cầu đột ngột, sự đồng thời biến đổi và các mô hình truyền thông bùng nổ.

Cập nhật lưu trữ đối tượng AI: Viết xuyên khu vực và cấp lưu trữ

Việc nâng cao lưu trữ dựa trên Local Object Transport Accelerator (LOTA), một proxy lưu trữ bộ nhớ đệm được triển khai trên mọi nút GPU và CPU trong CoreWeave Kubernetes Service,lưu trữ dữ liệu đối tượng trên node-local NVMe. CoreWeave báo cáo đọc lưu trữ tối đa 7 GB / s mỗi GPU, với độ trễ đọc p99 thấp hơn 8 lần so với truy cập thùng trực tiếp. Một nhà cung cấp mô hình hàng đầu chạy LOTA trên hơn 15,000 GPU và bộ nhớ cache 20PB, đạt tỷ lệ đạt được 99,7%, với LOTA được cung cấp mà không tính thêm phí.

Tăng tốc ghi xuyên khu vực cho phép các ứng dụng ghi vào một thùng trong một khu vực xa xôi với độ trễ địa phương, mà không cần sửa đổi API hoặc SDK.Ứng dụng gửi văn bản S3 tiêu chuẩn đến điểm cuối LOTA; dữ liệu đối tượng được lưu trữ một cách bền vững tại địa phương trong khi siêu dữ liệu cam kết với khu vực từ xa.và dữ liệu di chuyển đến khu vực xa xôi trong nềnỨng dụng thấy một không gian tên thùng duy nhất trải rộng tất cả các khu vực với các chính sách IAM nhất quán, các quy tắc vòng đời và kiểm soát truy cập,loại bỏ các giàn khu vực riêng biệt và các đường ống sao chép thường được yêu cầu để phân phối các điểm kiểm soát giữa các địa điểm.

"Dữ liệu của chúng tôi bao gồm nhiều khu vực, và chúng tôi không thể cho phép lịch trình đào tạo của chúng tôi bị quyết định bởi sự chậm trễ trong việc truy xuất giữa các khu vực", Cécile Robert-Michon nói.Giám đốc cơ sở hạ tầng nội bộ tại Cohere. ¢ CoreWeave AI Object Storage cung cấp cho chúng tôi một bộ dữ liệu thống nhất trên các khu vực với đọc được lưu trữ tại chỗ, vì vậy không có gì chờ trên mạng. ¢

Lớp lưu trữ là lớp lưu trữ thứ tư cùng với Hot, Warm và Cold, được thiết kế để ghi lại một lần, dữ liệu hiếm khi được đọc như các điểm kiểm tra đào tạo lịch sử và bộ dữ liệu thô.Nó có giá năng lực cơ sở thấp hơn và từ bỏ việc thu hồiCoreWeave khuyên bạn nên giữ các điểm kiểm tra gần đây trên các cấp nhanh hơn để khởi động lại nhanh chóng,với tự động xếp hạng để Archive sau 60 ngày không đọcCác bài viết xuyên khu vực và tầng lưu trữ hiện có sẵn.

Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!