HiSTEVE 1.0: Khai thác các agent VLA giao diện con người cho trò chơi thế giới mở

Xây dựng các agent ảo hiện thân hoạt động trong các trò chơi mở như người chơi là một mục tiêu lâu năm đòi hỏi cả tự động hóa dài phạm vi và kiểm soát giao diện bản địa tin cậy. Với thế giới được tạo ngẫu nhiên theo quy trình, Minecraft cung cấp môi trường thử nghiệm tự nhiên để nghiên cứu sự tích hợp những khả năng này. Các agent hiện tại thường cung cấp hoặc kiểm soát thị giác vận động bản địa mà không có tự động hóa dài phạm vi, hoặc lập kế hoạch ở cấp độ cao thông qua APIs môi trường hoặc kỹ năng được định nghĩa trước. Để lấp đầy khoảng trống này, chúng tôi đề xuất HiSTEVE, một agent VLA phân cấp với một harness nhận thức khả năng. Ở cấp độ điều phối, chúng tôi trang bị harness với bộ nhớ có cấu trúc để theo dõi tiến độ và một planner VLM để chọn nhiệm vụ phụ trong khả năng của VLA. Để xác định tin cậy việc hoàn thành nhiệm vụ phụ, chúng tôi giới thiệu thêm một bộ phát hiện trạng thái hoàn thành nhiệm vụ gắn liền với chính sách, điều kiện dựa trên ngữ cảnh chính sách VLA để tín hiệu hoàn thành ứng cử viên. Ở cấp độ điều khiển, một VLA duy nhất thực hiện tất cả nhiệm vụ phụ với nhận thức chỉ bằng thị giác và hành động bàn phím và chuột bản địa.