Nhà cung cấp cơ sở dữ liệu đồ thị Neo4j tuyên bố công nghệ đồ thị có thể ngăn chặn các mô hình và tác nhân AI tạo ra ảo giác, bịa đặt và câu trả lời sai cho các truy vấn của người dùng.
Công ty đã tham chiếu một bài báo học thuật gần đây được công bố trên arXiv vào tháng 6, có tiêu đề “Giảm ảo giác trong trả lời câu hỏi phức tạp bằng cách sử dụng tạo sinh tăng cường truy xuất dựa trên đồ thị đơn giản”, bài báo này xác nhận tuyên bố của họ.
Tóm tắt của bài báo lưu ý rằng nghiên cứu khám phá việc áp dụng cấu trúc đồ thị nhẹ với lược đồ đồ thị đơn giản để hỗ trợ hệ thống con RAG (Tạo sinh tăng cường truy xuất) thông qua một bộ công cụ chuyên dụng. Nhóm nghiên cứu đã xây dựng một hệ thống tác nhân được trang bị các công cụ tìm kiếm vector và truy vấn đồ thị đa dạng, hoạt động trên dữ liệu có cấu trúc được lấy từ các bài viết Wikipedia tiếng Anh được tuyển chọn. Họ đã đánh giá hiệu suất hệ thống trên các câu hỏi phức tạp từ MoNaCo, một bộ dữ liệu kiểm tra QA Wikipedia đầy thách thức cho các tác vụ trả lời truy vấn phức tạp.
Các nhà nghiên cứu đã đưa ra một câu hỏi phức tạp cho LLM: “Bạn có thể liệt kê tất cả các trận chiến giữa người Hà Lan và người Anh trong Chiến tranh Anh-Hà Lan lần thứ nhất, thứ hai và thứ ba, và liệt kê người chiến thắng trong mỗi trận chiến không?”
Trả lời câu hỏi này đòi hỏi khả năng truy xuất và suy luận tinh vi, bao gồm suy luận đa thực thể, đa bước và truy cập chéo tài liệu đồng thời. Nghiên cứu chỉ ra rằng các truy vấn phức tạp như vậy đặt ra những thách thức lớn cho các hệ thống dựa trên LLM hiện đại.
Nhóm đã kiểm tra câu hỏi trên ba thiết lập LLM và phân tích kết quả:
1. Vector+đồ thị RAG: Áp dụng cơ sở dữ liệu vector và đồ thị hợp nhất với các công cụ được xác định trước để tối ưu hóa việc truy xuất cơ sở kiến thức bên ngoài.
2. Vector RAG đơn giản
3. LLM Zero-shot không có tăng cường RAG
Kết quả của bài báo xác nhận rằng việc tích hợp cơ sở kiến thức dựa trên đồ thị cơ bản và các công cụ phù hợp vào RAG vector tiêu chuẩn có thể giảm đáng kể ảo giác của AI, mặc dù nó không thể loại bỏ hoàn toàn. Điểm số sự thật thô đã cải thiện từ khoảng -127 đối với LLM zero-shot lên -49 đối với vector+đồ thị RAG.
Hơn nữa, phương pháp kết hợp vượt trội đáng kể so với RAG vector độc lập. Khi các câu trả lời đúng một phần được đưa vào đánh giá, vector+đồ thị RAG đạt điểm cao nhất trong ba kịch bản thử nghiệm. Điểm số sự thật chi tiết của nó cao hơn 80% so với RAG vector thuần túy, với độ chính xác và độ phủ thực tế gấp hơn đôi so với hệ thống RAG chỉ sử dụng vector.
Nhìn chung, giải pháp được đề xuất tăng cường cả độ chính xác và độ phủ đồng thời hạn chế ảo giác, mang đến một con đường khả thi để cải thiện độ tin cậy và uy tín của các hệ thống QA dựa trên LLM.
Đọc bài báo gốc để biết chi tiết kỹ thuật toàn diện về nghiên cứu.
Công ty TNHH Công nghệ Bắc Kinh Qianxing Jietong
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Trọng tâm kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng Công nghệ để Xây dựng Thế giới Thông minh”Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!
Vietnamese
