Supervised Fine-Tuning for Reasoning Large Language Models: A Survey

Các reasoning model lớn đã thể hiện khả năng đáng chú ý trong việc giải quyết các tác vụ phức tạp, nơi SFT giám sát được áp dụng trên dữ liệu chain-of-thought dài đóng vai trò là nền tảng then chốt để gợi sinh và nâng cao khả năng suy luận của chúng. Dù tiến bộ nhanh chóng trong cả việc cải thiện và phân tích SFT hướng suy luận, lĩnh vực vẫn thiếu một bản khảo sát hệ thống nhằm tổng hợp thư viện đang tăng trưởng nhanh. Để lấp đầy khoảng trống này, chúng tôi trình bày một bài rà soát toàn diện về những tiến bộ gần đây trong SFT hướng suy luận, phân tích thư viện thông qua hai góc độ: thiết kế phương pháp và điều tra phân tích. Đầu tiên, chúng tôi xem xét những cải tiến phương pháp trên toàn bộ pipeline SFT và phân loại chúng thành các cách tiếp cận dữ liệu và đổi mới thuật toán. Thứ hai, chúng tôi tái tổ chức các nghiên cứu phân tích dọc theo ba chiều: đặc điểm dữ liệu, động lực tối ưu và hiểu biết cơ chế. Cuối cùng, bằng cách tổng hợp những tập trung nghiên cứu hiện tại và những nút cổ chai còn lại, chúng tôi đề xuất những hướng đi tiềm năng cho SFT hướng suy luận. Chúng tôi hy vọng bản khảo sát này sâu sắc hóa hiểu biết về SFT hướng suy luận và mở đường cho các reasoning model tiên tiến.