Các foundation model video đã phát triển nhanh chóng trong việc hiểu và tạo ra các chuỗi hình ảnh động, trong khi các world model video tìm cách nắm bắt những động lực cơ bản của thế giới mà chúng miêu tả. Dù có mục tiêu khác nhau, cả hai đều quan tâm đến mối quan hệ giữa quan sát video và một thế giới đang thay đổi. Bản khảo sát này áp dụng mô hình thế giới như một lăng kính thống nhất để xem xét những phát triển này. Xem một đoạn video quan sát được như một phép chiếu một phần, mất dữ liệu và có thứ tự thời gian của một thế giới thời gian tiềm ẩn, chúng tôi tổ chức lý luận chứng quanh bốn phép toán bổ sung cho nhau: reading suy luận các tính chất thế giới từ video quan sát được; writing tổng hợp video từ các điều kiện thế giới được chỉ định hoặc học được; sharing tích hợp hiểu biết và sinh tạo thông qua các cơ chế mô hình chung; và interacting dự đoán và cập nhật trạng thái thế giới dưới các hành động và quan sát đang thay đổi. Góc nhìn này phân biệt độ dẫn xuất thời gian trong các chuỗi được quan sát hoặc sinh ra từ sự nhất quán trong trạng thái thế giới nền tảng.
Nguồn chính
- SOURCEhuggingface.co