A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

Tự cải thiện đệ quy đòi hỏi các mô hình không chỉ phải thu thập kinh nghiệm huấn luyện hữu ích, mà còn phải quyết định khi nào kinh nghiệm hiện tại ngừng hữu ích. Các phương pháp hiện có thường tập trung vào việc tạo ra kinh nghiệm tiếp theo là gì, trong khi ít chú ý đến thời điểm nên giới thiệu kinh nghiệm mới. Nhiều phương pháp cũng xây dựng mục tiêu huấn luyện thông qua sự nhất quán tự sinh hoặc biểu quyết đa số, khiến giám sát phụ thuộc vào dự đoán không chắc chắn của chính mô hình. Chúng tôi giải quyết hai câu hỏi này một cách riêng biệt: động lực huấn luyện quyết định thời điểm thu thập kinh nghiệm mới, trong khi câu trả lời cho các nhiệm vụ mới vẫn có thể kiểm chứng độc lập. A-RSI giám sát biến thiên phần thưởng và độ chính xác trong nhật ký huấn luyện để làm mới bộ nhiệm vụ khi tín hiệu học giảm xuống, mà không tham khảo điểm số xác thực hay kiểm tra. Một thư viện tĩnh lẽ các chương trình do mô hình tạo ra sản sinh câu hỏi đa phương thức và suy luận câu trả lời tham chiếu; chúng tôi chỉ định hợp đồng sinh nhiệm vụ, tự động xác minh các tính chất đã chọn của phần thưởng và quy tắc làm mới, đồng thời kiểm toán độc lập các câu trả lời đã sinh ra. Vòng lặp huấn luyện không sử dụng bất kỳ ví dụ huấn luyện bên ngoài hay nhãn câu trả lời do con người viết nào.