Các agent tự tiến hóa cải thiện thông qua các chu kỳ sửa đổi và đánh giá lặp đi lặp lại. Tuy nhiên, các phương pháp hiện nay chỉ nhận được phản hồi về các sửa đổi sau khi thực hiện các đánh giá tốn kém, và điểm số tổng hợp có thể làm mờ đi sự khác biệt giữa các lỗi cần những cách sửa chữa khác nhau. Chúng tôi giới thiệu khả năng tự tiến hóa mang tính dự đoán thông qua một Improvement Dynamics Model (IDM) có thể chỉnh sửa. Trước khi đánh giá, IDM dự đoán kết quả ở cấp độ tác vụ của một đề xuất sửa đổi và hướng dẫn việc chỉnh sửa tùy chọn. Sau khi đánh giá, các sửa đổi trước đó cùng kết quả quan sát được sẽ được dùng để cải thiện IDM, cho phép kiến thức dự đoán tích lũy qua các thế hệ. Nhờ đó, hệ thống có thể cải thiện cách giải quyết tác vụ, đề xuất sửa đổi và dự đoán hiệu quả của chúng. Dựa trên HyperAgents, chúng tôi đánh giá phương pháp này qua các lĩnh vực lập trình đa ngôn ngữ, đánh giá bài báo, thiết kế phần thưởng robot và chấm điểm toán học cấp độ Olympiad-level. Phương pháp của chúng tôi vượt trội hơn HyperAgents ở cả bốn lĩnh vực, với hiệu suất trung bình qua các thế hệ cao hơn tới 46%. Các mức tăng trưởng này cũng duy trì được trong điều kiện ngân sách token tương đương (bao gồm cả việc tiến hóa agent và đánh giá tác vụ), đồng thời mở rộng sang cả các tác vụ chưa từng gặp.
Nguồn chính
- SOURCEarxiv.org