Think Less, Locally: Local Preference Learning for Reasoning Compression

Các reasoning model lớn đạt hiệu suất mạnh mẽ trên những nhiệm vụ khó, nhưng chuỗi suy nghĩ dài của chúng thường tạo ra chi phí inference lớn vì vẫn tiếp tục suy luận ngay cả khi đã thu thập đủ thông tin. Các phương pháp nén reasoning hiện tại chủ yếu hoạt động trên các quỹ đạo suy nghĩ, chú ý ít hơn tới quyết định địa phương về việc có nên tiếp tục suy nghĩ thêm dựa trên trạng thái hiện tại. Chúng tôi đề xuất LoCo, một phương pháp học sở thích địa phương cho nén reasoning. LoCo phát hiện các trạng thái nghĩ quá từ dấu vết của chính mô hình, đóng băng các tiền tố reasoning tương ứng, tạo lại các phần kết tiếp ngắn hơn đã được xác minh từ cùng một trạng thái, và huấn luyện trên các cặp sở thích có điều kiện theo trạng thái thu được bằng DPO. Cách tiếp cận này dạy mô hình biết khi nên tiếp tục suy nghĩ và khi nên kết luận, thay vì chỉ đơn giản khuyến khích các quỹ đạo ngắn hơn. Chúng tôi xây dựng dữ liệu huấn luyện hoàn toàn từ các dấu vết toán học tự sinh và đánh giá LoCo trên năm benchmark toán học và ba benchmark sinh mã nguồn.