--- format: "aidr-story-markdown/v1" id: "e01efa46cf6e0694d9982798b4687a9e8c1e8c55113a3bbedb5712e128ea24c3" canonical_url: "https://aidr.today/e01efa46?lang=vi" title: "Turns matter advancing streaming video rl via turn-level credit" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-05T00:00:00.000Z" category: "Research" topics: ["agent"] source_urls: ["https://huggingface.co/papers/2611.06728"] summary: "Hiểu video streaming đòi hỏi các model phải liên tục quyết định có phản hồi hay tiếp tục quan sát. Gần đây, Group Relative Policy Optimization GRPO đã được áp dụng cho bối cảnh này, các phương pháp hiện tại tập trung vào thiết kế reward trong khi vẫn giữ lợi thế ở cấp độ trajectory duy nhất qua các turns. Việc chia sẻ credit này có thể củng cố các câu trả lời thừa sau thành công trước đó và ngăn cản các theo dõi hữu ích sau thất bại trước đó. Chúng tôi đề xuất TurnWise, một framework GRPO cấp độ turn căn chỉnh việc học với các quyết định streaming riêng lẻ. TurnWise giải quyết sự không khớp giữa phản hồi cấp độ trajectory và tương tác cấp độ turn, thúc đẩy các phản hồi giàu thông tin và giảm sự dư thừa. Cụ thể, việc gán credit cấp độ turn dùng chấm điểm prefix hoàn thành bằng sự im lặng để xây dựng các lợi thế tương đối nhóm từ phần return còn lại của mỗi quyết định, tách tín hiệu học của nó khỏi các reward trước đó. Tối ưu hóa policy trung bình turn tính trung bình loss token trong mỗi turn rồi qua các turns, cho các quyết định phản hồi và chờ trọng số bằng nhau bất kể độ dài output. Những thiết kế bổ sung này cải thiện việc học policy streaming mà không cần critic học được hay r…" --- # Turns matter advancing streaming video rl via turn\-level credit > [Open the canonical story]() **Published:** 2026-11-05T00:00:00.000Z **Category:** Research **Topics:** agent ## Summary Hiểu video streaming đòi hỏi các model phải liên tục quyết định có phản hồi hay tiếp tục quan sát\. Gần đây, Group Relative Policy Optimization GRPO đã được áp dụng cho bối cảnh này, các phương pháp hiện tại tập trung vào thiết kế reward trong khi vẫn giữ lợi thế ở cấp độ trajectory duy nhất qua các turns\. Việc chia sẻ credit này có thể củng cố các câu trả lời thừa sau thành công trước đó và ngăn cản các theo dõi hữu ích sau thất bại trước đó\. Chúng tôi đề xuất TurnWise, một framework GRPO cấp độ turn căn chỉnh việc học với các quyết định streaming riêng lẻ\. TurnWise giải quyết sự không khớp giữa phản hồi cấp độ trajectory và tương tác cấp độ turn, thúc đẩy các phản hồi giàu thông tin và giảm sự dư thừa\. Cụ thể, việc gán credit cấp độ turn dùng chấm điểm prefix hoàn thành bằng sự im lặng để xây dựng các lợi thế tương đối nhóm từ phần return còn lại của mỗi quyết định, tách tín hiệu học của nó khỏi các reward trước đó\. Tối ưu hóa policy trung bình turn tính trung bình loss token trong mỗi turn rồi qua các turns, cho các quyết định phản hồi và chờ trọng số bằng nhau bất kể độ dài output\. Những thiết kế bổ sung này cải thiện việc học policy streaming mà không cần critic học được hay r… ## Sources - [Story source]()