--- format: "aidr-story-markdown/v1" id: "f356485c60ee6f5f104c73686393a10b605dce38fae501dbf1b68a52854c0bba" canonical_url: "https://aidr.today/f356485c?lang=vi" title: "Waypoint-OPD: Chuyển giao dịch chuyển đổi chính sách từ RL thông qua Rượt tinh luyện trên phương pháp On-Policy" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-16T00:00:00.000Z" category: "Research" topics: ["llm"] source_urls: ["https://huggingface.co/papers/2610.21601"] summary: "Rượt tinh luyện dịch chuyển chính sách tái sử dụng sự khác biệt giữa xác suất log của giáo viên trước và sau khi huấn luyện bằng RL như một tín hiệu giám sát trên các quỹ đường đi do sinh viên tạo ra. Tuy nhiên, sự dịch chuyển chính sách cuối cùng này không thể tiết lộ liệu các tùưu thích hành động địa phương đã phát triển nhất quán trong suốt quá trình huấn luyện giáo viên hay không. Cùng một sự dịch chuyển cuối cùng có thể đến từ những dịch chuyển sớm và muội nhắn nhau hoặc một phần hủy bỏ nhau. Chúng tôi điều tra xem sự đồng thuận giữa những dịch chuyển sớm và muội của giáo viên có thể hướng dẫn việc chuyển giao lựa chọn hay không. Chúng tôi giới thiệu Waypoint-guided On-Policy Distillation (Waypoint-OPD), sử dụng một điểm kiểm tra trung gian từ cùng một lần chạy RL để so sánh những dịch chuyển sớm và muội trong các tùưu thích hành động tương đối tại các tiền tố do sinh viên truy cập. Chúng tôi điều chỉnh sự dịch chuyển cuối cùng dựa trên sự đồng hướng giữa những dịch chuyển sớm và muội, giảm nhẹ khi chúng chỉ về hai hướng đối lập. So với việc chuyển giao chỉ dựa trên điểm cuối, phương pháp của chúng tôi chỉ yêu cầu thêm một lượt chấm điểm giáo viên đóng băng. Sử dụng giáo viên…" --- # Waypoint\-OPD: Chuyển giao dịch chuyển đổi chính sách từ RL thông qua Rượt tinh luyện trên phương pháp On\-Policy > [Open the canonical story]() **Published:** 2026-10-16T00:00:00.000Z **Category:** Research **Topics:** llm ## Summary Rượt tinh luyện dịch chuyển chính sách tái sử dụng sự khác biệt giữa xác suất log của giáo viên trước và sau khi huấn luyện bằng RL như một tín hiệu giám sát trên các quỹ đường đi do sinh viên tạo ra\. Tuy nhiên, sự dịch chuyển chính sách cuối cùng này không thể tiết lộ liệu các tùưu thích hành động địa phương đã phát triển nhất quán trong suốt quá trình huấn luyện giáo viên hay không\. Cùng một sự dịch chuyển cuối cùng có thể đến từ những dịch chuyển sớm và muội nhắn nhau hoặc một phần hủy bỏ nhau\. Chúng tôi điều tra xem sự đồng thuận giữa những dịch chuyển sớm và muội của giáo viên có thể hướng dẫn việc chuyển giao lựa chọn hay không\. Chúng tôi giới thiệu Waypoint\-guided On\-Policy Distillation \(Waypoint\-OPD\), sử dụng một điểm kiểm tra trung gian từ cùng một lần chạy RL để so sánh những dịch chuyển sớm và muội trong các tùưu thích hành động tương đối tại các tiền tố do sinh viên truy cập\. Chúng tôi điều chỉnh sự dịch chuyển cuối cùng dựa trên sự đồng hướng giữa những dịch chuyển sớm và muội, giảm nhẹ khi chúng chỉ về hai hướng đối lập\. So với việc chuyển giao chỉ dựa trên điểm cuối, phương pháp của chúng tôi chỉ yêu cầu thêm một lượt chấm điểm giáo viên đóng băng\. Sử dụng giáo viên… ## Sources - [Story source]()