Nhận Thức Harness Cho Agent: Biến Dữ Liệu Đã Xác Minh Thành Kiểm Soát Vận Hành Cho Các Agent Dùng Công Cụ

Mô tả công cụ cho biết agent hành động có thể làm gì, nhưng không nhất thiết tiết lộ xem hành động đó có khỏe mạnh hay phù hợp vào thời điểm sử dụng. Các harness thực thi thường sở hữu thông tin này thông qua các bộ giám sát, dấu vết và lỗi gần đây, trong khi mô hình chọn hành động tiếp theo thì không. Chúng tôi gọi khoảng trống này là bàng quan hóa vận hành. Chúng tôi giới thiệu Agent Harness Awareness, một thiết kế tách biệt niềm tin, trong đó máy chủ cung cấp một bản ghi trạng thái nhỏ, mới và đã xác minh trước mỗi hành động quan trọng, đồng thời vẫn giữ quyền đo lường, thực thi, đánh giá và đi dipatch cuối cùng. Chúng tôi kiểm tra phiên bản công cụ và mạng của nó với ToolRoute, một benchmark cách ly kiểm soát, giữ nguyên nhiệm vụ và ngữ nghĩa ứng cử viên đồng thời thay đổi thông tin vận hành khả dụng cho mô hình. Trong một bài thử nghiệm 216 quyết định, trạng thái sức khỏe công cụ đã xác minh giảm thiểu hành chính sách có thể quan sát trung bình 96,9% so với nhóm kiểm soát trung tính cùng hình dạng (từ 4.252 ms xuống 131 ms) và tăng tỷ lệ hoàn thành một lần dipatch từ 69,4% lên 95,8%.