Hệ thống tệp song song IBM Storage Scal hỗ trợ quản lý bộ nhớ đệm KV phân tán kết hợp với NVIDIA Dynamo, phục vụ các kịch bản suy luận AI quy mô lớn với khối lượng công việc ngữ cảnh lớn.
IBM đã phát hành Sách đỏ chính thức có tựa đềBối cảnh không giới hạn: Nền tảng bộ đệm KV hiệu suất cao cho suy luận AI quy mô lớn, cung cấp kiến trúc tham chiếu đã được xác thực hoàn chỉnh cho giải pháp chung này. Ngăn xếp tích hợp kết hợp Máy chủ lưu trữ Supermicro Petascale, mạng Ethernet NVIDIA Spectrum-X và Phiên bản mã hóa xóa quy mô lưu trữ (ECE) của IBM để xây dựng tầng lưu trữ chia sẻ hiệu suất cao cho suy luận AI. Là tài liệu kỹ thuật có thẩm quyền do IBM ITSO (Tổ chức hỗ trợ kỹ thuật quốc tế) xuất bản, Sách đỏ IBM cung cấp hướng dẫn triển khai chuyên sâu, thực tế cho các sản phẩm cơ sở hạ tầng IBM cấp doanh nghiệp.
Được đồng tác giả bởi các nhóm kỹ thuật từ IBM, Supermicro và NVIDIA, Sách đỏ giải quyết điểm yếu cốt lõi của khối lượng công việc AI có ngữ cảnh dài. Các trường hợp sử dụng bao gồm trợ lý đối thoại nhiều lượt, ứng dụng truy xuất RAG và quy trình tác nhân tự trị tạo ra dữ liệu bộ nhớ đệm KV khổng lồ bên trong GPU HBM. Sau khi dữ liệu được lưu trong bộ nhớ đệm bị xóa khỏi tài nguyên HBM hạn chế, việc tính toán lại lặp đi lặp lại sẽ gây ra sự gia tăng độ trễ nghiêm trọng, khiến việc lưu trữ bộ nhớ đệm KV yêu cầu chéo liên tục là không thể thiếu.
Giải pháp này áp dụng kiến trúc bộ đệm KV phân cấp năm tầng đáp ứng các nhu cầu về độ trễ và dung lượng khác nhau:
-
Lớp G1: HBM cục bộ của nút GPU
-
Lớp G2: Hệ thống nút CPU DRAM
-
Lớp G3: SSD cục bộ gắn trực tiếp
-
Lớp G3.5: Bộ lưu trữ flash chia sẻ cấp nhóm, được hỗ trợ bởi DPU NVIDIA BlueField với kết nối trực tiếp với DPU máy chủ GPU
-
Lớp G4: Nhóm lưu trữ chia sẻ qua Ethernet bên ngoài được kết nối với tất cả các máy chủ điện toán GPU
Bao gồm hệ thống phân cấp bộ nhớ và lưu trữ từ đầu đến cuối, thiết lập nhiều tầng này mang lại độ trễ và độ dốc dung lượng liên tục. Nó cho phép NVIDIA Dynamo tiến hành sắp xếp bộ đệm thông minh, tự động loại bỏ và tải lại dữ liệu động trên toàn bộ ngăn lưu trữ, thích ứng linh hoạt với các kiểu truy cập khối lượng công việc khác nhau và tổng ngân sách chi phí cơ sở hạ tầng.
Được triển khai trên Máy chủ lưu trữ Supermicro Petascale, Storage Scal ECE đóng vai trò là tầng bộ nhớ đệm lạnh G4. Nó được tối ưu hóa cho dữ liệu bộ nhớ đệm KV không nhạy cảm với độ trễ, bao gồm các trạng thái hội thoại nhiều lượt không hoạt động, dữ liệu ngữ cảnh của tổng đài viên được chia sẻ và các bản ghi truy vấn lịch sử không yêu cầu phản hồi tức thì.
Theo kết quả thử nghiệm được ghi trong Sách Đỏ, kiến trúc tham chiếu sẵn sàng sản xuất này giúp tăng tốc một cách hiệu quả các dịch vụ suy luận AI tổng quát và AI tác nhân. Trong các thử nghiệm TTFT (Thời gian đến mã thông báo đầu tiên) yêu cầu duy nhất được so sánh với các máy chủ GPU độc lập không có bộ đệm KV quy mô lưu trữ bên ngoài, hệ thống tích hợp sẽ duy trì TTFT ổn định bất kể thay đổi độ dài nhanh chóng. Nó đạt được mộttăng tốc 56 lầndưới chuỗi đầu vào mã thông báo 130k và loại bỏ hoàn toàn các dao động về độ trễ suy luận do độ dài dấu nhắc kéo dài gây ra.
Dưới áp lực suy luận nhiều người dùng đồng thời, giải pháp đạt được sự cải thiện hiệu suất đáng kể: thông lượng yêu cầu tăng từ 0,19 RPS lên 4,26 RPS, đánh dấu mộtTăng thông lượng 22 lần. Trong khi đó, tổng thời gian xử lý cho 200 yêu cầu suy luận giảm 95%, giúp nâng cao đáng kể hiệu suất sử dụng GPU và khả năng mở rộng cụm suy luận tổng thể.
Ngăn xếp cũng duy trì hiệu suất mạnh mẽ trong các bài kiểm tra căng thẳng hàng xóm ồn ào khắc nghiệt. Với bốn đầu máy khách tạo ra lưu lượng truy cập I/O mạng cạnh tranh 200 GB/giây được duy trì liên tục, hệ thống tích hợp vẫn chạy ổn định ở tốc độ 3,6 RPS, hoàn thành tất cả 200 yêu cầu suy luận trong vòng 55,56 giây. Thông lượng của nó vẫn còncao hơn 18 lầnhơn kiến trúc tính toán lại chỉ dành cho GPU cơ bản.
Nhóm nghiên cứu kết luận trong Sách đỏ: “Đối với các doanh nghiệp muốn tối đa hóa ROI khi đầu tư vào phần cứng GPU đắt tiền, kiến trúc tích hợp đã được xác minh này cung cấp một cách tiếp cận đơn giản, sẵn sàng cho sản xuất để tăng thông lượng suy luận, cắt giảm độ trễ từ đầu đến cuối, hỗ trợ đồng thời dịch vụ cao hơn và xây dựng cơ sở hạ tầng suy luận AI quy mô lớn hiệu quả hơn về mặt chi phí”.
Từ khóa: SUPERMICRO, Cân lưu trữ IBM, NVIDIA Dynamo
Công ty TNHH Công nghệ Qianxing Jietong Bắc Kinh
Sandy Yang/Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Trọng tâm kinh doanh:
Phân phối sản phẩm CNTT/Tích hợp hệ thống & Dịch vụ/Giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu thế giới để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng công nghệ để xây dựng một thế giới thông minh”Nhà cung cấp dịch vụ sản phẩm CNTT đáng tin cậy của bạn!
Vietnamese
