LeWAM: Mô hình hóa world model và hành động end-to-end với JEPA

Các kiến trúc Joint-embedding predictive architectures (JEPA) học các world model dạng latent gọn nhẹ mà không cần tái tạo pixel. Các pipeline JEPA hiện nay thường huấn luyện các biểu diễn thị giác và động lực học dựa trên điều kiện hành động trước khi thêm chính sách điều khiển hoặc bộ giải. Chúng tôi giới thiệu LeWAM, một JEPA end-to-end phục vụ điều khiển với: (1) mục tiêu huấn luyện chung giữa việc dự đoán trạng thái latent tiếp theo và khớp dòng hành động, và (2) một ràng buộc Gaussian đẳng hướng trên trạng thái latent, cho phép một mô hình duy nhất hỗ trợ thực thi chính sách trực tiếp và lập kế hoạch hiệu quả bằng cách đánh giá các hành động được lấy mẫu với động lực học latent đã học. So với các JEPA trước đây trong lập kế hoạch thị giác, LeWAM cải thiện tỷ lệ thành công từ 28,6% lên 89,7% trong các tác vụ có nhiều tiếp xúc và từ 10,9% lên 46,2% trong các tác vụ có tầm nhìn xa, đồng thời lập kế hoạch nhanh hơn 32,3 lần. Trong các tác vụ behavior cloning trên mô phỏng và robot vật lý, LeWAM cũng có khả năng cạnh tranh với các phương pháp đã được thiết lập. Các phân tích về khả năng diễn giải cho thấy LeWAM học được các biểu diễn liên quan đến điều khiển và các phân phối hành động giúp dẫn dắt việc lập kế hoạch và điều khiển tại thời điểm kiểm tra một cách hiệu quả.