--- format: "aidr-story-markdown/v1" id: "23b0ad911bff96ad1bbe4aa54d214fc657102fbda409824727530cfe857a7ca6" canonical_url: "https://aidr.today/23b0ad91?lang=vi" title: "Online dense reinforcement learning với Planning-Grounding Agent cho Navigation UI trên iOS Apps" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-02T00:00:00.000Z" category: "Research" topics: ["agent"] source_urls: ["https://machinelearning.apple.com/research/planning-grounding-ui-navigation"] summary: "Mặc dù các frontier vision-language model thể hiện khả năng mạnh mẽ trong UI navigation, chi phí inference cao cản trở việc sử dụng hàng ngày. Ngược lại, các mô hình nhỏ hơn được fine-tune bằng SFT hoặc offline reinforcement learning thường ghi nhớ các quỹ đạo tĩnh, dẫn đến thực thi giòn và không thể phục hồi lỗi. Để giải quyết hạn chế này, chúng tôi đề xuất một framework online reinforcement learning mới huấn luyện các UI navigation agent trực tiếp trên live iOS Apps. Framework này tách agent thành hai thành phần chuyên biệt: Planning agent và UI Grounding model. Chúng tôi dùng LLM-as-a-Judge để cung cấp tín hiệu reward toàn diện, kết hợp feedback cấp bước dense để đánh giá tiến độ trung gian với reward terminal cho hoàn thành task tổng thể. Để tận dụng hiệu quả cấu trúc reward kép này, chúng tôi tối ưu agent bằng PPO với ước tính advantage cấp bước. Hơn nữa, chúng tôi giới thiệu GiGPPO, một phương pháp ước tính value điều kiện lân cận mới giúp ổn định critic bằng cách tận dụng tín hiệu reward từ các trạng thái tương tự về mặt hình ảnh trên các trajectory đồng thời." --- # Online dense reinforcement learning với Planning\-Grounding Agent cho Navigation UI trên iOS Apps > [Open the canonical story]() **Published:** 2026-11-02T00:00:00.000Z **Category:** Research **Topics:** agent ## Summary Mặc dù các frontier vision\-language model thể hiện khả năng mạnh mẽ trong UI navigation, chi phí inference cao cản trở việc sử dụng hàng ngày\. Ngược lại, các mô hình nhỏ hơn được fine\-tune bằng SFT hoặc offline reinforcement learning thường ghi nhớ các quỹ đạo tĩnh, dẫn đến thực thi giòn và không thể phục hồi lỗi\. Để giải quyết hạn chế này, chúng tôi đề xuất một framework online reinforcement learning mới huấn luyện các UI navigation agent trực tiếp trên live iOS Apps\. Framework này tách agent thành hai thành phần chuyên biệt: Planning agent và UI Grounding model\. Chúng tôi dùng LLM\-as\-a\-Judge để cung cấp tín hiệu reward toàn diện, kết hợp feedback cấp bước dense để đánh giá tiến độ trung gian với reward terminal cho hoàn thành task tổng thể\. Để tận dụng hiệu quả cấu trúc reward kép này, chúng tôi tối ưu agent bằng PPO với ước tính advantage cấp bước\. Hơn nữa, chúng tôi giới thiệu GiGPPO, một phương pháp ước tính value điều kiện lân cận mới giúp ổn định critic bằng cách tận dụng tín hiệu reward từ các trạng thái tương tự về mặt hình ảnh trên các trajectory đồng thời\. ## Sources - [Story source]()