Học tập tăng cường với phần thưởng có thể xác minh verbessert lý luận toán học khi một câu trả lời cuối cùng có thể được kiểm tra, nhưng một câu trả lời đúng không chứng thực cho quá trình suy diễn đằng sau nó, và các bài toán chứng minh không cung cấp câu trả lời để kiểm tra. Thay thế việc kiểm tra bằng một reasoning model như người xác minh trong vòng lặp gặp phải rào cản cơ bản: chính sách phải đã sản xuất đôi khi các nỗ lực đúng trước khi bất kỳ phần thưởng nào tồn tại, điều mà nó có thể không bao giờ làm được ở mức độ olympiad. Thay vào đó, chúng tôi chuyển xác minh và sửa chữa ra khỏi vòng lặp huấn luyện và vào quá trình tạo dữ liệu ngoại tuyến với SPLICE, một quy trình làm việc mà một mô hình thứ hai, chỉ với một giải pháp tham chiếu, chỉnh sửa các dấu vết của reasoning model ngay khi chúng được tạo ra: nó xác minh tiến trình, cắt ngắn một dấu vết thất bại tại bước đã được xác minh cuối cùng, và chèn một gợi ý được tăng cường thích ứng cho đến khi tiến trình tiếp tục. Bộ dữ liệu kết quả bao gồm các ví dụ đã được sửa chữa mà các quỹ tích chưa được hỗ trợ của chúng đã thất bại, với các phần kết tiếp theo bị xóa bỏ và tiến trình được kiểm tra lại nhiều lần đối với giải pháp tham chiếu.
Nguồn chính
- SOURCEarxiv.org