JevAgentHarness: Đánh giá, triển khai và huấn luyện decision model chia sẻ điều khiển với LLM

Các LLM agent hiện đã sửa phần mềm, vận hành máy tính và phục vụ khách hàng, nhưng các harness chạy chúng lại gọi một LLM lớn ở mỗi bước, khiến các nhiệm vụ dài trở nên chậm và tốn kém. Hầu hết các lời gọi này kết thúc bằng một lựa chọn dạng trắc nghiệm, như chọng công cụ tiếp theo. Các decision model như Jev trả lời trực tiếp những câu hỏi này, với thời gian và chi phí chỉ một phần của một lời gọi LLM. Chúng tôi hỏi cách một harness có thể ủy quyền những quyết định này cho một decision model mà không mất nhiều thành công. Để đánh giá các decision model trong các nhiệm vụ agentic, chúng tôi xây dựng AgentDecisionBench, kiểm tra chúng từ các câu hỏi độc lập đến việc điều khiển một agent đang chạy, trên các benchmark công cộng và môi trường DecisionGym của chúng tôi. Decision model chính xác nhất trên các câu hỏi độc lập chỉ giải quyết được 69.5% nhiệm vụ agent, và nếu không có ngưỡng tin cậy được điều chỉnh, việc ủy quyền lựa chọn công cụ làm giảm thành công 19.0 điểm. Dựa trên những phát hiện này, chúng tôi thiết kế JevAgentHarness, phù hợp ngưỡng này cho từng lựa chọn trên các quỹ đường đi của agent và để LLM quyết định bên dưới ngưỡng đó.