--- format: "aidr-story-markdown/v1" id: "0d0e88ba1d1de5192e593bdf4a785ff76276ca4676d7a419ebe514c1a9db376b" canonical_url: "https://aidr.today/0d0e88ba?lang=vi" title: "Mô hình lý luận ngược cho huấn luyện hậu kỳ và xác minh hiệu quả từ dữ liệu chỉ có câu trả lời" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-15T04:00:00.000Z" category: "Research" topics: ["reasoning"] source_urls: ["https://arxiv.org/abs/2610.18878"] summary: "Việc huấn luyện reasoning model LLM thường yêu cầu đánh đổi giữa việc giám sát tốn kém và hiệu suất tính toán kém: fine-tune giám sát thường cần những dấu vết lý luận, dẫn đến việc sử dụng dữ liệu kém hiệu quả vì trong nhiều ứng dụng chỉ có cặp prompt-câu trả lời và thiếu dãy chain-of-thought (CoT) đúng. Mặt khác, reinforcement learning (với phần thưởng có thể xác minh, ví dụ) có thể hoạt động mà không cần dữ liệu CoT nhưng lại kém hiệu quả về tính toán hơn vì cần nhiều hoàn thành tự động hóa cho mỗi bước tối ưu, và không có gì bảo đảm rằng chúng sẽ cho được gradient chính sách khác không bằng không. Trong công trình này, chúng tôi khám phá một giải pháp trung gian, một kỹ thuật tự rửa màu sử dụng dữ liệu chỉ có câu trả lời, coi CoT như các biến ẩn. Điều này dựa trên việc huấn luyện một mô hình LLM lý luận ngược \"đối tác\" tạo ra những dấu vết lý luận của mô hình gốc dựa trên câu trả lời. Mô hình ngược được huấn luyện một lần và tái sử dụng trên các lô dữ liệu chỉ có câu trả lời đến, với toàn bộ quá trình sinh ra ngoại tuyến và trước tiên, khiến phương pháp này đặc biệt phù hợp cho huấn luyện hậu kỳ liên tục." --- # Mô hình lý luận ngược cho huấn luyện hậu kỳ và xác minh hiệu quả từ dữ liệu chỉ có câu trả lời > [Open the canonical story]() **Published:** 2026-10-15T04:00:00.000Z **Category:** Research **Topics:** reasoning ## Summary Việc huấn luyện reasoning model LLM thường yêu cầu đánh đổi giữa việc giám sát tốn kém và hiệu suất tính toán kém: fine\-tune giám sát thường cần những dấu vết lý luận, dẫn đến việc sử dụng dữ liệu kém hiệu quả vì trong nhiều ứng dụng chỉ có cặp prompt\-câu trả lời và thiếu dãy chain\-of\-thought \(CoT\) đúng\. Mặt khác, reinforcement learning \(với phần thưởng có thể xác minh, ví dụ\) có thể hoạt động mà không cần dữ liệu CoT nhưng lại kém hiệu quả về tính toán hơn vì cần nhiều hoàn thành tự động hóa cho mỗi bước tối ưu, và không có gì bảo đảm rằng chúng sẽ cho được gradient chính sách khác không bằng không\. Trong công trình này, chúng tôi khám phá một giải pháp trung gian, một kỹ thuật tự rửa màu sử dụng dữ liệu chỉ có câu trả lời, coi CoT như các biến ẩn\. Điều này dựa trên việc huấn luyện một mô hình LLM lý luận ngược "đối tác" tạo ra những dấu vết lý luận của mô hình gốc dựa trên câu trả lời\. Mô hình ngược được huấn luyện một lần và tái sử dụng trên các lô dữ liệu chỉ có câu trả lời đến, với toàn bộ quá trình sinh ra ngoại tuyến và trước tiên, khiến phương pháp này đặc biệt phù hợp cho huấn luyện hậu kỳ liên tục\. ## Sources - [Story source]()