Harness-S: Học từ các harness anh em để huấn luyện agent tổng quát

Sự tiến hóa của harness từ một cơ sở chung phản ánh tính Địa phương, Bổ sung và Không ổn định: các biến thể sửa chữa những lỗi khác nhau, và tính hữu ích của chúng thay đổi khi chính sách học. Thay vì tìm kiếm một harness vĩ đại nhất, chúng tôi giới thiệu Harness-S để cứu trợ lấy những thất bại của hệ thống thực thi cơ sở thông qua các harness anh em và chuyển giao khả năng thu được vào một chính sách duy nhất vẫn hiệu quả dưới harness gốc. Tiến hóa Harness theo hướng phát triển các harness anh em chuyên biệt dọc theo các hướng sửa chữa khác nhau, tạo thành một kho harness anh em tái sử dụng vẫn cố định trong quá trình huấn luyện chính sách. Huấn luyện Cứu trợ Harness Bổ sung kích hoạt kho này chỉ khi tất cả các lần thử ban đầu dưới harness cơ sở thất bại. Cùng một chính sách tạo ra các rollout mới dưới các harness phụ trợ được chọn, và những dấu vết này thay thế nhóm thất bại cho học tăng cường. Một Router Harness Thích ứng chọn ra các biến thể Top-k bằng cách sử dụng Hồ sơ Hành vi Harness và bỏ phiếu qua nhiều LLMs. Cập nhật lại hồ sơ nhận thức dựa trên chính sách sẽ làm mới bằng chứng này khi chính sách học.