Early stopping trong large reasoning models: một khảo sát và kiểm toán thực nghiệm về hiệu suất và độ tin cậy

Large reasoning models có thể cải thiện độ chính xác bằng cách tạo ra các trace reasoning dài hơn nhưng một phần tính toán này có thể không cần thiết. Các phương pháp early-stopping nhằm dừng lại khi đủ reasoning để trả lời. Đánh giá các phương pháp này cần tính đến chi phí quyết định khi dừng và độ tin cậy của câu trả lời thu được. Chúng tôi đánh giá các phương pháp khác nhau trên năm reasoning model về các tác vụ reasoning toán học và khoa học, tạo code và tính xác thực bằng cách dùng protocol rollout chung. Chúng tôi giới thiệu TITE để đo lường Efficiency so với oracle dựa trên các mục tiêu accuracy. Chúng tôi cũng xem xét tính đúng đắn ở các vị trí exit sau, khả năng chuyển giao giữa các model và tác vụ, tiếp tục reasoning sau khi dừng và chất lượng justification được giữ lại.