Điều hướng cây không cần tóm tắt bằng LLM: Nghiên cứu chi phí tương đương về truy xuất phân cấp cho QA tài liệu dài

RAG giúp LLM bám sát ngữ cảnh bên ngoài, nhưng với tài liệu dài, phương pháp truy xuất phẳng top-$k$ thường chỉ tập trung vào một vùng duy nhất và bỏ sót các bằng chứng bổ sung. Các cây tóm tắt theo phong cách RAPTOR giải quyết vấn đề này bằng cách gom cụm các đoạn văn bản một cách đệ quy và dùng LLM để tóm tắt từng cụm khi lập chỉ mục, sau đó xếp hạng các nút tóm tắt cùng với các đoạn văn bản thô tại thời điểm truy vấn. Chúng tôi cho thấy lợi ích chính của cây tóm tắt trong QA tài liệu dài đến từ việc điều hướng chứ không phải từ nội dung tóm tắt được tạo ra. Chúng tôi giới thiệu NavTree, một bộ truy xuất chỉ gồm các lá, xây dựng một cây phân đoạn cân bằng tất toán trên các đoạn văn bản mà không tốn lệnh gọi LLM nào khi lập chỉ mục, đồng thời sử dụng cây thuần túy làm khung điều hướng: một bước đi biên kết hợp giữa từ vựng và dày đặc, neo vào các lá được truy xuất hàng đầu, đi xuống từ gốc và chỉ xuất ra các đoạn lá cho trình đọc. Trong một đánh giá về chi phí tương đương so với các bộ truy xuất phẳng và bản cài đặt lại mang tính trích xuất của RAPTOR, NavTree là bộ truy xuất phân cấp mạnh nhất có chi phí tương đương trong lưới đánh giá của chúng tôi và ngang bằng với mô hình cơ sở phẳng mạnh nhất.