--- format: "aidr-story-markdown/v1" id: "69c86193bb92b071bc97839f95fc10b7c61cf68aea7d482c84d7ae8634a3cf91" canonical_url: "https://aidr.today/69c86193?lang=vi" title: "Structrl model-free reinforcement learning with replay graphs" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-13T05:00:00.000Z" category: "Research" topics: ["agent"] source_urls: ["https://arxiv.org/abs/2611.14599"] summary: "StructRL biến kinh nghiệm thu thập trong reinforcement learning thành một replay graph tường minh. Khi graph chứa đường đi đến mục tiêu nhiệm vụ, dynamic programming sẽ chọn hành động trên phần không gian trạng thái đã quan sát; các hành động này tạo thành một graph policy chỉ được định nghĩa tại những nơi đã quan sát các chuyển đổi cần thiết. StructRL chuyển các hành động này cho các model-free learner: dưới dạng ưu tiên hành động cho một DQN Q-model và dưới dạng hướng mục tiêu dọc theo các đường đi ngắn nhất đã quan sát cho một SAC actor. Với DQN trên ba nhiệm vụ MiniGrid phần thưởng thưa thớt, tỷ lệ thành công cuối cùng tăng từ 0,10 lên 0,90 (DoorKey), từ 0,10 lên 0,80 (KeyCorridor) và từ 0 lên 0,50 (ObstructedMaze); DQN thông thường không theo kịp gấp ba lần ngân sách. Với SAC trên PointMaze liên tục, nhãn hướng có nguồn gốc từ graph nâng tỷ lệ thành công cuối cùng từ 0,17 lên 1,0 trong bảy lần chạy khớp đạt mục tiêu. Chưng cất graph policy thành một Q-model mới cho ra bộ điều khiển DoorKey 6x6 đạt mục tiêu từ 91% các trạng thái có thể đạt được, so với 38% của DQN thông thường." --- # Structrl model\-free reinforcement learning with replay graphs > [Open the canonical story]() **Published:** 2026-11-13T05:00:00.000Z **Category:** Research **Topics:** agent ## Summary StructRL biến kinh nghiệm thu thập trong reinforcement learning thành một replay graph tường minh\. Khi graph chứa đường đi đến mục tiêu nhiệm vụ, dynamic programming sẽ chọn hành động trên phần không gian trạng thái đã quan sát; các hành động này tạo thành một graph policy chỉ được định nghĩa tại những nơi đã quan sát các chuyển đổi cần thiết\. StructRL chuyển các hành động này cho các model\-free learner: dưới dạng ưu tiên hành động cho một DQN Q\-model và dưới dạng hướng mục tiêu dọc theo các đường đi ngắn nhất đã quan sát cho một SAC actor\. Với DQN trên ba nhiệm vụ MiniGrid phần thưởng thưa thớt, tỷ lệ thành công cuối cùng tăng từ 0,10 lên 0,90 \(DoorKey\), từ 0,10 lên 0,80 \(KeyCorridor\) và từ 0 lên 0,50 \(ObstructedMaze\); DQN thông thường không theo kịp gấp ba lần ngân sách\. Với SAC trên PointMaze liên tục, nhãn hướng có nguồn gốc từ graph nâng tỷ lệ thành công cuối cùng từ 0,17 lên 1,0 trong bảy lần chạy khớp đạt mục tiêu\. Chưng cất graph policy thành một Q\-model mới cho ra bộ điều khiển DoorKey 6x6 đạt mục tiêu từ 91% các trạng thái có thể đạt được, so với 38% của DQN thông thường\. ## Sources - [Story source]()