Recursive Semantic Divergence for LLM Agent Consistency

Các LLM agent sử dụng công cụ thể hiện hành vi không nhất quán qua các lần chạy độc lập từ cùng một trạng thái, gọi công cụ khác nhau, đưa ra kết quả mâu thuẫn hoặc theo chiến lược phân kỳ. Sự khác biệt này tích lũy theo thời gian và làm suy giảm độ tin cậy triển khai. Các chỉ số đánh giá hiện có chủ yếu đo lường độ chính xác của nhiệm vụ thông qua điểm số dựa trên hoàn thành và không nắm bắt được tính nhất quán của hành vi agent qua các lần thực thi. Riêng biệt, hành vi của agent được phân tích ở mức token bằng phân phối xác suất hoặc ở mức độ phản hồi đơn lẻ bằng phân cụm ngữ nghĩa, nhưng không phương pháp nào nắm bắt được cách mâu thuẫn lan truyền qua các lượt tương lai của một quỹ đạo. Chúng tôi giới thiệu Recursive Semantic Divergence (RSD), một chỉ số độ nhất quán ở mức độ quỹ đạo không giám sát được thích ứng từ các chỉ số bisimulation trong học tăng cường. RSD đo lường sự bất đồng ngữ nghĩa tích lũy kỳ vọng giữa hai lần thực thi độc lập của cùng một agent từ cùng một trạng thái, sử dụng suy diễn ngôn ngữ tự nhiên để phát hiện sự mâu thuẫn logic.