tin tức công ty về Context grapher Jedify cắt giảm chi phí token AI 75%

Jedify ủng hộ việc tăng cường AI bằng công nghệ biểu đồ ngữ cảnh, tuyên bố giải pháp của họ có thể giảm chi phí token AI tới ba phần tư.

Biểu đồ ngữ cảnh lưu trữ các mối quan hệ thực thể (con người, sản phẩm, địa điểm, v.v.) trong các cấu trúc giống cơ sở dữ liệu. Cơ sở dữ liệu đồ thị tổ chức dữ liệu dưới dạng các nút (thực thể) và cạnh (mối quan hệ), ưu tiên các kết nối để duyệt nhanh dữ liệu phức tạp có liên kết với nhau, không giống như cơ sở dữ liệu quan hệ dựa trên bảng. Trong khi biểu đồ tri thức phục vụ các khối lượng công việc AI, biểu đồ ngữ cảnh còn xác thực các mối quan hệ nào là đúng.

Đồng sáng lập và CTO của Jedify, Adi Elimelech, nhận xét: “Phần lớn ngành công nghiệp nhầm lẫn hiệu quả token và hiệu quả chi phí, nhưng chúng khác nhau. Việc mã hóa trước logic kinh doanh bên trong biểu đồ ngữ cảnh giúp mô hình không phải suy luận từ đầu cho mỗi truy vấn; đây là cơ chế cốt lõi, độc lập với việc triển khai của nhà cung cấp.”

Thay vì cung cấp toàn bộ lược đồ cơ sở dữ liệu cho AI trong mỗi truy vấn, biểu đồ ngữ cảnh của Jedify mã hóa trước các định nghĩa logic kinh doanh, phép tính, mối quan hệ và quy tắc vào một cơ sở tri thức có cấu trúc. Nó tự động cập nhật và mở rộng cùng với những thay đổi của doanh nghiệp, tiếp nhận dữ liệu, mối quan hệ và quy tắc mới. Khi có truy vấn từ người dùng, chỉ các thực thể có liên quan mới được truy xuất, cung cấp ngữ cảnh nhỏ gọn, chính xác cho LLM.

Jedify đã thực hiện kiểm tra hiệu suất kho sản xuất trên 100 câu hỏi kinh doanh thuộc ba cấp độ phức tạp (tổng cộng 200 điểm kiểm tra được chấm điểm). Thiết lập biểu đồ ngữ cảnh của họ trung bình sử dụng 25.036 token thô cho mỗi lần tạo SQL với tỷ lệ câu trả lời đúng là 87%. Ngược lại, các phương pháp tiêm lược đồ thông thường tiêu thụ 50.000-150.000 token cho mỗi lần gọi với độ chính xác 60-70%; các hệ thống đa tác nhân dựa trên tiêm lược đồ như CHESS đạt gần 339.965 token cho mỗi yêu cầu. Lưu ý: các đường cơ sở tham chiếu này rút ra từ các nghiên cứu bên ngoài với các lược đồ và bộ câu hỏi khác nhau, không phải là thử nghiệm kho cạnh nhau.

Được đo lường bằng một khuôn khổ ROI token cân bằng chi phí và độ chính xác, phương pháp của Jedify mang lại lợi nhuận cao gấp 4,6 lần so với quy trình làm việc tiêm lược đồ và gấp 20 lần so với các đường ống đa tác nhân cơ bản. Tiêm lược đồ đạt được 60-70% đầu ra chính xác, trong khi Jedify đạt được độ chính xác cao cho các thực thể trong phạm vi bao phủ của biểu đồ.

Ở quy mô doanh nghiệp 100 bảng, biểu đồ ngữ cảnh đã giảm việc tiêm token khoảng 50% cho mỗi lệnh gọi SQL so với các đường cơ sở lược đồ thô; ở 200 bảng, mức tiết kiệm token vượt quá 75%.

Elimelech cũng nhấn mạnh lợi ích về quyền sở hữu dữ liệu: “Logic kinh doanh nằm trong biểu đồ được kiểm soát của bạn, vì vậy bạn không tiết lộ toàn bộ lược đồ và các quy tắc lọc kết hợp của mình cho các nhà cung cấp mô hình tiên tiến trong mỗi yêu cầu.”

Bằng cách lọc chỉ các thực thể cần thiết trước khi tạo SQL, biểu đồ ngữ cảnh làm giảm tải suy luận của mô hình. Phân tích định tuyến sản xuất cho thấy khoảng 85% các truy vấn phân tích doanh nghiệp có thể chạy trên các mô hình mã nguồn mở rẻ hơn thay vì các LLM tiên tiến cao cấp với tổn thất độ chính xác không đáng kể, cắt giảm chi tiêu cơ sở hạ tầng.

Tải xuống bài báo trắng liên quan tại đây.

Công ty TNHH Công nghệ Bắc Kinh Tiền Hành Kết Thông
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Trọng tâm Kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng Công nghệ để Xây dựng Thế giới Thông minh”Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!