PrimeSim: Một bộ mô phỏng world model đa năng từ các bản trình diễn chéo cỡ lớn

Một world model dùng cho robot phải làm nhiều hơn là tạo ra video hợp lý: nó phải thực hiện đúng các hành động được giao, duy trì sự nhất quán giữa các góc camera và duy trì các rollout dài hạn mạch lạc. Chúng tôi trình bày PrimeSim, một world model simulator điều khiển bởi hành động, đa góc, giải quyết những thách thức này thông qua midtraining tiến bộ và posttraining. Khởi đầu từ một video generator đã được huấn luyện trước, chúng tôi tiếp tục midtrain trên 30.110 giờ bản trình diễn robot trên 22 nền tảng. Để cải thiện khả năng thực hiện hành động, chúng tôi giới thiệu một biểu diễn hành động chéo cỡ lớn thống nhất và điều kiện kép căn chỉnh khung để củng cố mối quan hệ giữa hành động và khung. Để duy trì sự nhất quán đa góc, chúng tôi phát triển attention xen kẽ nhận thức góc với các nhận danh camera rõ ràng, cho phép trao đổi thông tin giữa các góc nhìn đồng thời giữ lại các biểu diễn đặc thù từng góc. Ngoài ra, chúng tôi giới thiệu một khung posttraining nhanh video, chậm bộ nhớ, biến đổi video generator hai chiều thành một simulator autoregressive hiệu quả.