Tôi đã nén toàn bộ văn bản với 8% số lượng từ, giữ lại tất cả các sự kiện cốt lõi, điểm chuẩn, trích dẫn và logic kỹ thuật, đồng thời loại bỏ tất cả các liên kết:
Phần mềm Inferra của Lightbits tăng tốc hoạt động bộ nhớ đệm KV, phá vỡ bức tường bộ nhớ của suy luận AI và cải thiện đáng kể việc sử dụng GPU. Công ty lưu trữ khối hiệu suất cao đã xây dựng Inferra để ảo hóa bộ nhớ băng thông cao (HBM) của GPU. Bộ nhớ đệm KV lưu trữ các khóa và giá trị chú ý được tính toán trước trong quá trình suy luận LLM, tránh tính toán lại dữ liệu chuỗi không cần thiết và tăng hiệu suất AI tạo sinh.
Bộ nhớ đệm KV tiêu chuẩn giới hạn dữ liệu được lưu trong bộ nhớ đệm trong HBM của GPU. Khi HBM bão hòa, các cặp KV hiện có sẽ bị loại bỏ để lấy dữ liệu mới, yêu cầu tính toán lại tốn thời gian khi sử dụng lại. Bộ nhớ đệm KV phân cấp hiện đại mở rộng bộ nhớ lưu trữ đến DRAM máy chủ, SSD NVMe cục bộ và ổ NVMe mạng từ xa. Mặc dù các cấp cao hơn có độ trễ truy cập dài hơn, độ trễ này thường ngắn hơn so với việc tính toán lại các vectơ token mở rộng.
Inferra giải quyết các nút thắt bộ nhớ quan trọng bắt nguồn từ việc mở rộng dấu chân bộ nhớ đệm KV dài. Nó cho phép người dùng đám mây và doanh nghiệp chạy suy luận AI nhanh hơn, có khả năng mở rộng hơn mà không cần nâng cấp phần cứng GPU và HBM tốn kém để mở rộng dung lượng bộ nhớ đệm.
Avigdor Willenz, Đồng sáng lập và Chủ tịch Lightbits Labs, lưu ý rằng thị trường suy luận AI trị giá 117 tỷ USD vào năm 2026 buộc các nhà cung cấp tập trung vào đào tạo cũ phải tái cấu trúc. Ông nhấn mạnh rằng các hệ thống lưu trữ và đào tạo cũ không thể được trang bị lại cho các nút thắt bộ nhớ đệm KV, vì chúng được thiết kế cho các mô hình công việc lỗi thời. Được thiết kế riêng cho hiệu quả suy luận GPU, Inferra đã xác nhận giá trị trong các chương trình beta của khách hàng, mở rộng đổi mới NVMe qua TCP của nhà cung cấp để giải quyết các điểm đau suy luận hiện đại.
Được cung cấp bởi các thuật toán tải trước được tối ưu hóa cho bộ nhớ đệm KV, Inferra chủ động tải dữ liệu bộ nhớ đệm KV sắp tới trước khi GPU yêu cầu. Nó mang lại ba lợi thế cốt lõi: tăng tới 16 lần các phiên suy luận đồng thời trên phần cứng GPU hiện có với tuân thủ SLA nghiêm ngặt (không cần nâng cấp phần cứng); cải thiện độ trễ lên tới 100 lần và hỗ trợ cửa sổ ngữ cảnh 10 triệu token, giảm TTFT và TPOT thông qua tải trước trạng thái chú ý dự đoán thay vì tính toán lại; và cô lập người thuê an toàn với quản lý bộ nhớ đệm KV hợp nhất thông minh cho các cụm suy luận được chia sẻ.
Inferra định nghĩa lại kinh tế suy luận bằng cách ảo hóa bộ nhớ GPU trên bộ nhớ và lưu trữ đa cấp, biến bộ nhớ đệm KV bị phân mảnh thành một lớp dữ liệu thông minh, bền vững. Được triển khai trên các hệ thống con x86 của máy chủ, nó giám sát hoạt động khối bộ nhớ đệm KV và tận dụng công cụ Tải trước chú ý thưa thớt dưới tuyến tính (SLSAP). Kết hợp băm nhạy cảm với vị trí và các mẫu sử dụng lại chú ý lịch sử, nó xếp hạng và ưu tiên các khối KV được sử dụng lại thường xuyên, bao gồm các token gần đây, nội dung tương tự về mặt ngữ nghĩa và các mẫu cấu trúc trong các quy trình trò chuyện đa lượt và RAG. Hệ thống truy xuất các khối mục tiêu từ DRAM máy chủ hoặc SSD bên ngoài và tải chúng vào HBM của GPU qua RDMA.
Yaniv Fdida, Giám đốc Sản phẩm & Công nghệ của OVH, đã xác minh Inferra mang lại những cải thiện đáng kể về việc sử dụng GPU, cho phép cơ sở hạ tầng công việc tác nhân AI và RAG có khả năng mở rộng, hiệu quả về chi phí.
Kết quả điểm chuẩn công khai xác nhận hiệu suất tăng vọt: Qwen 2.5-7B (ngữ cảnh 410K) tăng tốc 102 lần (72,6s → 711ms); DeepSeek-R1-70B (ngữ cảnh 141K) cải thiện 152 lần (70,8s → 465ms); Llama-4-Scout (ngữ cảnh 10M) đạt mức tăng 380 lần (1,5 giờ → 13 giây).
Không phụ thuộc vào phần cứng và tương thích với tất cả các framework suy luận mã nguồn mở phổ biến, Inferra hỗ trợ các plugin Dynamo, vLLM và LMCache. Một cách độc đáo, nó mang lại khả năng mở rộng TTFT dưới tuyến tính so với độ dài ngữ cảnh, trong khi các đối thủ cạnh tranh bao gồm DDN, VAST Data và WEKA chỉ cung cấp khả năng mở rộng tuyến tính hoặc truyền phát phản ứng. Lightbits đã chứng minh khả năng suy luận ngữ cảnh 10 triệu token ổn định trên GPU L40S thông thường, một điểm chuẩn mà các nhà cung cấp đối thủ không đạt được.
Ramesh Chettuvetty, Phó Chủ tịch AI Sản phẩm và Kinh doanh của Lightbits Labs, cho biết Inferra mang lại khoản tiết kiệm TCO ngay lập tức, loại bỏ tình trạng chậm trễ suy luận ngữ cảnh dài và trao quyền cho các doanh nghiệp chạy các mô hình lớn hơn và khối lượng công việc hội thoại dài hơn với chi phí cơ sở hạ tầng thấp hơn. Người dùng có thể đánh giá lợi ích tối ưu hóa chi phí suy luận của Inferra thông qua nền tảng đánh giá hiệu quả công khai của nhà cung cấp. Trong một buổi trình diễn chung vào tháng 3 với ScaleFlux, Inferra đã đạt được khả năng tăng tốc bộ nhớ đệm KV từ 100 lần đến 280 lần trên khối lượng công việc SSD lưu trữ tính toán.
Công ty TNHH Công nghệ Bắc Kinh Qianxing Jietong
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Trọng tâm Kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng Công nghệ để Xây dựng Thế giới Thông minh” Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!
Người liên hệ: Ms. Sandy Yang
Tel: 13426366826
Vietnamese
