---
format: "aidr-story-markdown/v1"
id: "066987406da6f54bd19ca7057a59a049443a899e1e81551867281065a77c83c4"
canonical_url: "https://aidr.today/06698740?lang=vi"
title: "Phục hồi giám sát tin cậy qua rút gọn on-policy có hướng dẫn từ bình luận"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-10-15T00:00:00.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingface.co/papers/2610.20572"]
summary: "Rút gọn on-policy (OPD) huấn luyện một mô hình học sinh trên các rollout của chính nó với giám sát ở mức token từ một teacher, dựa trên giả đềan teacher có thể đạt được câu trả lời đúng từ bất kỳ prefix nào mà học sinh viết ra. Chúng tôi gọi tính chất này là khả năng phục hồi của teacher và chứng minh nó thất bại trên các rollout sai lầm: teacher sẽ đi theo lỗi của học sinh, dù vẫn nhận ra chúng. Để khắc phục, chúng tôi đề xuất CriticOPD, sử dụng khả năng nhận diện lỗi để khôi phục lại khả năng phục hồi. Teacher sẽ phê bình một rollout sai, cho phép học sinh viết lại giải pháp theo hướng khắc phục lỗi. Kết quả đầu ra, bao gồm cả bình luận được xem là thông tin đặc quyền, sẽ được teacher chấm điểm trong khi học sinh sử dụng bản sửa không kèm bình luận để huấn luyện. Trên hai mô hình học sinh Qwen3 và sáu benchmark lý luận toán học, CriticOPD cải thiện OPD, với mức tăng lớn nhất ở các bài toán thi đấu."
---

# Phục hồi giám sát tin cậy qua rút gọn on\-policy có hướng dẫn từ bình luận

> [Open the canonical story](<https://aidr.today/06698740?lang=vi>)

**Published:** 2026-10-15T00:00:00.000Z
**Category:** Research
**Topics:** llm

## Summary

Rút gọn on\-policy \(OPD\) huấn luyện một mô hình học sinh trên các rollout của chính nó với giám sát ở mức token từ một teacher, dựa trên giả đềan teacher có thể đạt được câu trả lời đúng từ bất kỳ prefix nào mà học sinh viết ra\. Chúng tôi gọi tính chất này là khả năng phục hồi của teacher và chứng minh nó thất bại trên các rollout sai lầm: teacher sẽ đi theo lỗi của học sinh, dù vẫn nhận ra chúng\. Để khắc phục, chúng tôi đề xuất CriticOPD, sử dụng khả năng nhận diện lỗi để khôi phục lại khả năng phục hồi\. Teacher sẽ phê bình một rollout sai, cho phép học sinh viết lại giải pháp theo hướng khắc phục lỗi\. Kết quả đầu ra, bao gồm cả bình luận được xem là thông tin đặc quyền, sẽ được teacher chấm điểm trong khi học sinh sử dụng bản sửa không kèm bình luận để huấn luyện\. Trên hai mô hình học sinh Qwen3 và sáu benchmark lý luận toán học, CriticOPD cải thiện OPD, với mức tăng lớn nhất ở các bài toán thi đấu\.

## Sources

- [Story source](<https://huggingface.co/papers/2610.20572>)