Frameworks16.11.2026 · 07:001 nguồn

Gamer một foundation model tổng quát về vision-language-action cho agent game thời gian thực tầm xa

Từ huggingface.co

Ảnh: huggingface.co
AI;DR

Nhóm tác giả giới thiệu Gamer, một framework agent tổng quát được xây dựng cho các tác vụ tầm xa trong môi trường tương tác phức tạp. Kiến trúc end-to-end của nó kết hợp nhận thức, quản lý bộ nhớ và suy luận nhiều bước. Một pipeline huấn luyện và triển khai chung hỗ trợ tương tác với cả giao diện đồ họa 2D thông thường và các thế giới mô phỏng 3D phức tạp. Ban đầu, nhóm tác giả tiếp tục pre-training trên bộ dữ liệu được xây dựng từ hàng chục nghìn giờ tương tác bằng bàn phím và chuột ở cấp thiết bị. Các quỹ đạo này bao gồm các trò chơi mô phỏng và môi trường hiện thân, cho phép model học động lực môi trường trên cả miền vật lý và ảo. Sau đó, fine-tune bằng hướng dẫn suy nghĩ thưa thớt giúp giảm đáng kể tính toán dư thừa mà vẫn giữ được khả năng suy luận cần thiết cho các quyết định phức tạp. Nhóm tác giả huấn luyện policy cho tương tác tầm xa bằng phương pháp reinforcement learning đa lượt ổn định, giải quyết các vấn đề về context window hữu hạn, lỗi rollout tích lũy và phần thưởng thưa thớt. Đối với tương tác thời gian thực, một inference engine cloud-edge phục vụ đồng thời nhiều môi trường game mô phỏng, hỗ trợ thực thi context không giới hạn và giữ độ trễ inference trực tuyến thấp.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay