HiFOR: Dự báo phân cấp với World Grounding được hướng dẫn bởi hành động cho mô hình Vision-Language-Action

Các mô hình VLA đã thể hiện khả năng hứa hẹn trong thao tác robot bằng cách tích hợp nhận thức thị giác, hiểu ngôn ngữ và tạo hành động. Những tiến bộ gần đây còn kết hợp dự đoán tương lai để nâng cao sự hiểu biết về động lực môi trường và tiến trình nhiệm vụ. Tuy nhiên, các phương pháp hiện tại thường mô hình hóa động lực ngắn hạn và mục tiêu nhiệm vụ dài hạn một cách riêng biệt, trong khi tích hợp trực tiếp các tương lai được dự đoán vào chính sách hành động mà không xem xét đầy đủ mức độ liên quan của chúng đối với yêu cầu hành động hiện tại. Để giải quyết những hạn chế này, chúng tôi đề xuất HiFOR, một framework foresight phân cấp với world retrieval được hướng dẫn bởi hành động. Cụ thể, Hierarchical Foresight Prediction dự đoán đồng thời sự tiến hóa trạng thái ngắn hạn, các cột mốc ngữ nghĩa và các trạng thái mục tiêu cuối cùng thông qua Hierarchical Dependency Mask (HDM), thiết lập sự phụ thuộc qua các chân trời thời gian. Dựa trên các dự đoán này, Structure-Aware Latent World Modeling tổ chức các biểu diễn latent tương lai dọc theo chân trời, góc nhìn và chiều không gian để tạo điều kiện cho việc retrieval chi tiết.