Vietnamese
IBM đã công bố một kiến trúc lưu trữ nhận thức nội dung (CAS) nhúng xử lý dữ liệu AI trực tiếp trong lớp lưu trữ.Cách tiếp cận này được thiết kế riêng cho các luồng công việc phát triển tăng cường thu hồi (RAG), vì nó tích hợp vectorization tài liệu vào hệ thống lưu trữ chính nó giảm nhu cầu về các đường ống xử lý trước bên ngoài.
CAS chuyển một chức năng RAG quan trọng nhúng tài liệu thông qua các phương pháp dựa trên mô hình ngôn ngữ lớn (LLM) vào cơ sở hạ tầng lưu trữ.Điều này cho phép các doanh nghiệp xử lý và lập chỉ mục dữ liệu tại vị trí hiện tại của nó, điều chỉnh các hệ thống lưu trữ với khối lượng công việc dựa trên AI và giảm thiểu chuyển động dữ liệu qua các tầng cơ sở hạ tầng khác nhau.IBM đặt vị trí này như một phương tiện để đơn giản hóa việc triển khai trong khi tăng hiệu suất và nâng cao vị trí dữ liệu cho các ứng dụng AI.
Cơ sở dữ liệu vector ở quy mô
Tại trung tâm của việc triển khai CAS của IBM là một cơ sở dữ liệu vector được tối ưu hóa cho tìm kiếm ngữ nghĩa.cho phép các hệ thống AI truy xuất các đoạn dữ liệu có liên quan dựa trên các số liệu tương đồng như tương đồng cosinus hoặc khoảng cách L2Khả năng này là cơ bản cho RAG, nơi các truy vấn của người dùng được chuyển đổi thành vector và khớp với dữ liệu doanh nghiệp được lập chỉ mục để cung cấp các phản hồi nhận thức ngữ cảnh.
IBM CAS Chart
IBM Research, hợp tác với Samsung và NVIDIA, đã giới thiệu một hệ thống nguyên mẫu có khả năng mở rộng đến 100 tỷ vector trên một máy chủ duy nhất.Hệ thống đạt được hơn 90 phần trăm nhớ lại và chính xác, với độ trễ truy vấn trung bình dưới 700 mili giây. quy mô này phục vụ cho môi trường doanh nghiệp nơi các bộ dữ liệu có thể trải dài hàng tỷ tệp và, một khi được lập chỉ mục đầy đủ,phát triển đến hàng trăm tỷ vector.
Tích hợp đường ống RAG
RAG đang trở thành một cách tiếp cận được ưa chuộng cho AI doanh nghiệp, vì nó tăng độ chính xác đầu ra mà không cần đào tạo lại mô hình.Nó hoạt động bằng cách bổ sung yêu cầu với dữ liệu cụ thể của doanh nghiệp lấy từ cơ sở dữ liệu vector.
Các đường ống bắt đầu với việc hấp thụ dữ liệu, nơi các tài liệu như PDF và bản trình bày được phân tích, chia thành các mảnh, và chuyển đổi thành các bản nhúng.Những bản nhúng này được lưu trữ trong cơ sở dữ liệu vector tổ chức dữ liệu để tìm kiếm sự tương đồng hiệu quảTrong quá trình truy vấn, đầu vào của người dùng được nhúng và khớp với các vector được lưu trữ, với nội dung có liên quan được truyền đến mô hình ngôn ngữ như ngữ cảnh.Cơ chế nối đất này làm giảm ảo giác và tăng niềm tin vào các kết quả được tạo ra bởi AI.
IBM CAS tích hợp toàn bộ đường ống này trực tiếp vào lưu trữ, củng cố hấp thụ, lập chỉ mục và truy xuất gần dữ liệu.
Giải quyết các thách thức về quy mô và chi phí
Các hệ thống lưu trữ doanh nghiệp đã hoạt động ở quy mô petabyte. Khi mở rộng đến CAS, mỗi tệp có thể tạo ra hàng trăm vector, nhanh chóng mở rộng kích thước bộ dữ liệu.Cơ sở dữ liệu vector truyền thống thường mở rộng trên nhiều máy chủ, đưa ra chi phí bổ sung và sự phức tạp của hoạt động.
Phương pháp tiếp cận của IBM tập trung vào việc cải thiện mật độ vector và giảm chi phí indexing để hạn chế sự lan rộng cơ sở hạ tầng.cho phép mở rộng quy mô độc lập của các nguồn lưu trữ và tính toánĐiều này được thực hiện bởi IBM Storage Scale và hệ thống tệp song song hiệu suất cao của nó.
Cơ sở lưu trữ và kiến trúc phần cứng
Việc triển khai CAS tận dụng IBM Storage Scale System 6000 (ESS 6000), một nền tảng toàn flash được thiết kế cho AI và khối lượng công việc hiệu suất cao.Hệ thống hỗ trợ tối đa 48 ổ NVMe cho mỗi vỏ 4U, với dung lượng ổ đĩa riêng từ 7 TB đến 60 TB. Nó tích hợp kết nối PCIe Gen5, 400 Gb InfiniBand hoặc 200 Gb Ethernet,cung cấp tới 340 GB/s đọc và 175 GB/s ghi thông lượng mỗi nút, cùng với tối đa 7 triệu IOPS.
Nền tảng này cũng hỗ trợ NVIDIA GPUDirect Storage, tạo điều kiện cho các đường dẫn dữ liệu trực tiếp giữa bộ lưu trữ và GPU, cũng như các DPU BlueField-3 để giảm tải các nhiệm vụ mạng và xử lý dữ liệu.
Samsung PM9D3a PCIe Gen5 NVMe SSD cung cấp dung lượng lưu trữ mật độ cao, dung lượng lưu trữ cao. Dựa trên thế hệ thứ tám TLC V-NAND, các ổ đĩa này cung cấp dung lượng lên đến 30,72 TB mỗi thiết bị.với tốc độ đọc tuần tự lên đến 12 GB/s và tốc độ ghi lên đến 6.8 GB / s. Việc sử dụng các ổ SSD doanh nghiệp có sẵn trên thị trường cho phép kiến trúc mở rộng quy mô bằng cách sử dụng các thành phần tiêu chuẩn.
Chỉ mục phân cấp và tăng tốc GPU
Để giải quyết việc lập chỉ mục theo quy mô, IBM đã phát triển một mô hình lập chỉ mục phân cấp bao gồm nhiều chỉ mục con có thể được tối ưu hóa độc lập.Cấu trúc này cho phép cập nhật từng bước và lập chỉ mục lại địa phương mà không làm gián đoạn toàn bộ bộ dữ liệu, cải thiện cả tính sẵn sàng và hiệu quả hoạt động.
Tăng tốc GPU làm giảm đáng kể thời gian lập chỉ mục so với các phương pháp chỉ sử dụng CPU.Xây dựng các chỉ số cho 100 tỷ vector mất 4 ngày với 6 GPU NVIDIA H200, so với ước tính 120 ngày trên một hệ thống CPU hai ổ cắm.
Toàn bộ dữ liệu, bao gồm các vector và chỉ mục, tiêu thụ khoảng 153 TiB dung lượng lưu trữ.Hệ thống kết quả cung cấp một độ trễ truy vấn trung bình 694ms với 90% nhớ, được xác nhận dựa trên các tính toán thực tế cơ bản.
Bản đồ hành trình
IBM và NVIDIA đang tiếp tục tối ưu hóa nền tảng, tập trung vào việc giảm độ trễ lập chỉ mục và truy vấn.Giảm thời gian hấp thu dữ liệu từ chín ngày xuống một ngày, và giảm độ trễ truy vấn xuống khoảng 50-100 mili giây trong khi duy trì 90 phần trăm nhớ lại.
Tích hợp lập chỉ mục vector vào các hệ thống tập tin tiêu chuẩn nhằm mục đích đơn giản hóa việc triển khai và giảm rào cản cho việc áp dụng AI doanh nghiệp.IBM đang định vị CAS như một lớp nền tảng cho cơ sở hạ tầng hỗ trợ AI.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!