--- format: "aidr-story-markdown/v1" id: "f080970548be7b725c778bb6482a17450127b4f9151b0f4daf4df2ffd562a581" canonical_url: "https://aidr.today/f0809705?lang=vi" title: "Khi nào hướng dẫn bên ngoài hỗ trợ LLM reasoning? Lý do thiên vị-phương sai của GA-GRPO" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-07T04:00:00.000Z" category: "Research" topics: ["reasoning"] source_urls: ["https://arxiv.org/abs/2610.06861"] summary: "Reinforcement learning với phần thưởng có thể xác minh (RLVR) đã trở thành mô hình chủ đạo để khai thác multi-step reasoning trong LLM, và một làn sóng phương pháp gần đây (LUFFY, ExPO, PAPO, TAPO) tiếp tục tăng cường RL bằng hướng dẫn bên ngoài - vết chuyên gia, giải thích của bản thân hoặc các mẫu suy nghĩ được truy xuất. Mặc dù mỗi phương pháp đều báo cáo mức tăng thực nghiệm, không phương pháp nào cung cấp tỷ lệ hội tụ, giới hạn độ chệch hoặc quy tắc trọng số tối ưu cho tín hiệu hướng dẫn. Nhóm tác giả thu hẹp khoảng cách này bằng Guidance-Augmented GRPO (GA-GRPO), một khung lý thuyết thống nhất coi hướng dẫn bên ngoài là một toán tử hướng dẫn ngẫu nhiên G viết lại phân phối câu hỏi, và phân tích ước lượng policy-gradient kết quả như một ước lượng on-policy có chệch với độ chệch bị giới hạn bởi độ phân kỳ hướng dẫn biến thiên toàn phần delta\\_G giữa phân phối lấy mẫu tăng cường hướng dẫn và phân phối của chính policy. Khung này bao gồm GRPO thuần túy, LUFFY, ExPO, PAPO và TAPO như các trường hợp đặc biệt đạt được bằng các lựa chọn cụ thể của G." --- # Khi nào hướng dẫn bên ngoài hỗ trợ LLM reasoning? Lý do thiên vị\-phương sai của GA\-GRPO > [Open the canonical story]() **Published:** 2026-10-07T04:00:00.000Z **Category:** Research **Topics:** reasoning ## Summary Reinforcement learning với phần thưởng có thể xác minh \(RLVR\) đã trở thành mô hình chủ đạo để khai thác multi\-step reasoning trong LLM, và một làn sóng phương pháp gần đây \(LUFFY, ExPO, PAPO, TAPO\) tiếp tục tăng cường RL bằng hướng dẫn bên ngoài \- vết chuyên gia, giải thích của bản thân hoặc các mẫu suy nghĩ được truy xuất\. Mặc dù mỗi phương pháp đều báo cáo mức tăng thực nghiệm, không phương pháp nào cung cấp tỷ lệ hội tụ, giới hạn độ chệch hoặc quy tắc trọng số tối ưu cho tín hiệu hướng dẫn\. Nhóm tác giả thu hẹp khoảng cách này bằng Guidance\-Augmented GRPO \(GA\-GRPO\), một khung lý thuyết thống nhất coi hướng dẫn bên ngoài là một toán tử hướng dẫn ngẫu nhiên G viết lại phân phối câu hỏi, và phân tích ước lượng policy\-gradient kết quả như một ước lượng on\-policy có chệch với độ chệch bị giới hạn bởi độ phân kỳ hướng dẫn biến thiên toàn phần delta\\\_G giữa phân phối lấy mẫu tăng cường hướng dẫn và phân phối của chính policy\. Khung này bao gồm GRPO thuần túy, LUFFY, ExPO, PAPO và TAPO như các trường hợp đặc biệt đạt được bằng các lựa chọn cụ thể của G\. ## Sources - [Story source]()