Các kiến trúc JEPAs học các world model bằng cách dự đoán các biểu diễn tương lai thay vì tái tạo quan sát. VJEPA (Variational JEPA) cung cấp ngữ nghĩa xác suất cho dự báo này và cho phép các gia đình dự báo có điều kiện linh hoạt. Chúng tôi đề xuất MDN-VJEPA, một JEPA xác suất đa dạng biểu diễn latent dự báo dưới dạng mạng khối mật (MDN), biểu diễn các trạng thái tương lai bằng một hỗn hợp Gaussian mà trong đó các thành phần mã hóa các tương lai thay thế, xác suất của chúng, và sự bất định trong từng chế độ. Đối với dự báo tuần tự, chúng tôi giải quyết hai yêu cầu cấu trúc bổ sung: các tương lai đa dạng nên duy trì tính dài hạn thời gian trên một quỹ tích, và các niềm tin dự báo nên nhất quán khi lan truyền đến cùng một chhorizon thông qua các thành phần thời gian khác nhau, như được động cơ bởi phương trình Chapman--Kolmogorov. Cùng với những cân nhắc này, chúng tôi định nghĩa một hệ thống ba cấp của dự báo đa dạng, các quỹ tích đa dạng mạnh mẽ, và động lực học đa dạng mạnh mẽ có tính chất kết hợp.
Nguồn chính
- SOURCEarxiv.org