Doc2Harness: Đánh giá LLMs trên kỹ thuật harness kỹ thuật lập trình agent theo chu kỳ dài

Các agent do mô hình ngôn ngữ lớn điều khiển ngày càng được triển khai trên các nhiệm vụ chu kỳ dài, nơi chúng sử dụng công cụ và sửa đổi không gian làm việc thực. Hiệu suất của chúng phụ thuộc không chỉ vào mô hình mà còn vào harness xung quanh mô hình. Các benchmark hiện tại đo lường thành công của nhiệm vụ cuối cùng dưới một harness cố định, để lại việc kỹ thuật harness chưa được khám phá. Chúng tôi đề xuất Doc2Harness, một benchmark hai giai đoạn đánh giá kỹ thuật harness theo chu kỳ dài trực tiếp. Ở Giai đoạn 1, một mô hình build hoạt động bên trong một harness builder cố định nhận một bản đống sơ cấp chỉ giao diện và một tài liệu phát triển tổng hợp hành vi của mười hai harness tiên phong, sau đó xây dựng một harness ứng cử viên hoàn chỉnh trong một container cách ly. Ở Giai đoạn 2, harness ứng cử viên đóng băng chạy trong các container riêng biệt từ môi trường xây dựng, một cho mỗi trường hợp kiểm tra, và được điều khiển từ đầu bằng một mô hình giả lập được kịch bản hóa. Chúng tôi chấm điểm mỗi trường hợp kiểm tra bằng bốn kênh có thể quan sát được, đó là các yêu cầu gửi đến mô hình, các tệp trên đĩa, mã thoát của quy trình và đầu ra lệnh; các mẫu kiểm soát dương tính loại trừ các trường hợp vượt qua một cách vô nghĩa.