Các AI agent dựa trên LLM ngày càng được dùng để giải quyết các vấn đề thực tế, và hiệu quả của chúng phụ thuộc cả vào các mô hình nền tảng và các harness hỗ trợ hoạt động. Tuy nhiên, hầu hết các benchmark hiện tại chỉ tập trung vào khả năng của mô hình và hiệu suất tổng thể của agent, ít chú trọng đến việc đánh giá các harness. Để khắc phục khoảng trống này, chúng tôi giới thiệu TraceTrial-Bench, phân chia độ tin cậy của harness thành bảy thành phần bao phủ ngữ cảnh, thực thi, quản trị, vòng đời, khả năng quan sát, công cụ và xác minh. Chúng tôi xây dựng 95 tác vụ ở mức độ chuyên gia, hướng mạnh vào cơ chế với đáp án thực thi được hoặc dựa trên trạng thái để hỗ trợ so sánh có tính đương đẳng về ngữ nghĩa đồng thời giữ nguyên hành vi bản địa của từng harness. Chúng tôi thiết kế module Truy vết Lệ trình (TT) để thu thập các dấu vết thực thi của agent và đưa ra khung đánh giá hai tầng, đánh giá riêng biệt hiệu suất của agent và độ tin cậy của harness.
Nguồn chính
- SOURCEhuggingface.co