Vietnamese
VAST Data đã mở rộng quan hệ đối tác với AMD để nâng cao cơ sở hạ tầng AI cho nền tảng đám mây và doanh nghiệp chạy đào tạo mô hình, suy luận, phát triển tăng cường truy xuất (RAG),và khối lượng công việc AI đại lýBộ đống tích hợp kết hợp Hệ điều hành VAST AI với bộ xử lý AMD EPYC thế hệ thứ 6, GPU AMD Instinct, phần cứng mạng AMD và phần mềm ROCm.
Sự hợp tác này phù hợp với một sự thay đổi lớn trong ngành: Cơ sở hạ tầng AI đang phát triển vượt ra ngoài các cụm chỉ đào tạo để hỗ trợ bối cảnh bền vững, suy luận cạnh tranh cao,và các luồng công việc đa lượt. Việc triển khai AI hiện đại ưu tiên di chuyển dữ liệu hiệu quả, quản lý bộ nhớ cache KV tối ưu, sử dụng GPU cao hơn và truy cập chậm vào các mô hình lớn và tập dữ liệu theo ngữ cảnh.
Kiến trúc VAST của Disaggregated Shared Everything (DASE) phục vụ như một lớp dữ liệu được chia sẻ thống nhất cho các môi trường AI hiện đại này.phát trực tuyến sự kiện, và các dịch vụ dữ liệu cốt lõi dưới một không gian tên toàn cầu duy nhất, trong khi cung cấp cách ly đa thuê và khối lượng công việc cho các đám mây AI chạy các nhiệm vụ khách hàng và ứng dụng đồng thời khác nhau.
AMD EPYC 9006 Năng lượng phần cứng VAST thế hệ tiếp theo
VAST đang áp dụng bộ vi xử lý AMD EPYC 9006-series (Venice) thế hệ thứ 6 cho hệ thống CBox thế hệ thứ 6 và EBox thế hệ thứ 3, tạo thành nền tảng phần cứng của Hệ điều hành VAST AI.Nền tảng EPYC 9006 giới thiệu khả năng kết nối PCIe Gen6 cho dòng phần cứng VAST, tăng gấp đôi băng thông I/O mỗi thế hệ.
Việc nâng cấp tăng tốc độ lưu trữ tập tin và đối tượng và giảm độ trễ cho cơ sở dữ liệu, kho dữ liệu và khối lượng công việc phát trực tuyến sự kiện được hỗ trợ bởi VAST DataBase và DataEngine.băng thông I / O được tăng cường làm giảm các nút thắt trên toàn bộ máy tính, mạng và lưu trữ NVMe, có lợi cho tải mô hình, đường ống truy xuất, truy cập điểm kiểm tra và luồng công việc KV cache bên ngoài vượt quá giới hạn bộ nhớ GPU gốc.
Kiến trúc tham chiếu ba người chơi với AMD và DriveNets
VAST, AMD và DriveNets đang cùng nhau xây dựng một kiến trúc tham chiếu cơ sở hạ tầng AI thống nhất, kết hợp cơ sở hạ tầng AI Helios của AMD, hệ điều hành VAST AI và mạng lưới DriveNets AI Fabric.Khung cung cấp hướng dẫn triển khai tiêu chuẩn cho đào tạo AI, kết luận, học tăng cường và khối lượng công việc KV cache,cung cấp các thực tiễn tốt nhất về kích thước và tính sẵn có cho các doanh nghiệp xây dựng các nhà máy AI với cơ sở hạ tầng dữ liệu chia sẻ và mạng hiệu suất cao.
VAST cũng đã mở rộng mối quan hệ hệ sinh thái của mình với các nhà cung cấp suy luận TensorMesh và EmbeddedLLM, tập trung vào kiến trúc suy luận cấp sản xuất cho các trường hợp sử dụng AI đại lý,với sự tích hợp cụ thể và chi tiết khởi động chưa được tiết lộ.
Tối ưu hóa KV Cache Offload cho High-Concurrency Inference
Một trọng tâm của sự hợp tác được cập nhật là việc tải cache KV nâng cao, tận dụng GPU AMD Instinct, AMD Infinity Context, phần mềm ROCm và hệ điều hành VAST AI.KV cache lưu trữ dữ liệu trạng thái chú ý được tạo ra để tăng tốc các tương tác nhiều lượt và khối lượng công việc AI ngữ cảnh dài, nhưng kích thước bộ nhớ cache lớn nhanh chóng tiêu thụ bộ nhớ GPU hạn chế.
Bỏ tải hoặc xếp lớp bộ nhớ cache KV vào bộ lưu trữ chia sẻ hiệu suất cao giải phóng bộ nhớ GPU cho các tác vụ đang hoạt động trong khi bảo tồn dữ liệu ngữ cảnh cho các yêu cầu suy luận tiếp theo.Các thử nghiệm ban đầu trên GPU AMD Instinct MI355X mang lại thời gian đầu tiên nhanh hơn 9 lần và 9 lần..7 lần thông lượng token cao hơn cho khối lượng công việc AI đại lý đồng thời cao thông qua tải cache KV chạy bằng VAST, với hiệu suất khác nhau theo thiết lập cơ sở phần cứng, khối lượng công việc và cấu hình lưu trữ.
Ngoài ra, các chính sách vòng đời tự động của VAST được áp dụng cho dữ liệu bộ nhớ cache KV, cho phép thời gian hết hạn theo lịch trình và xóa nội dung được lưu trữ trong bộ nhớ cache,Dữ liệu suy luận cá nhân hoặc quy định.
Kết nối GPU-Storage tốc độ cao thông qua Pensando Pollara 400
Kiến trúc triển khai AMD Pensando Pollara 400 AI NIC để kết nối AMD Instinct GPU với các cụm lưu trữ VAST.NIC cho phép chuyển dữ liệu hiệu quả từ GPU sang lưu trữ, cho phép truy cập độ trễ thấp vào lưu trữ VAST dựa trên NVMe cho bộ nhớ cache KV và khối lượng công việc suy luận chung.
Thiết kế này tách việc mở rộng quy mô quản lý ngữ cảnh khỏi giới hạn bộ nhớ GPU vật lý.VAST định vị nền tảng của mình như một lớp dữ liệu và thực thi thống nhất cho quản lý mô hình phân tánĐối với các nhà cung cấp đám mây AI, kiến trúc nâng cao việc sử dụng GPU và hiệu quả hoạt động,hỗ trợ chuyển đổi ngành từ đào tạo hàng loạt và thuê GPU sang kết luận liên tục và các dịch vụ AI đại lý.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!