Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

Sinh video điện ảnh đòi hỏi cả suy diễn thời gian từ đầu vào hạn chế (tức là hướng dẫn thưa thớt chứ không phải từng khung hình) và kiểm soát nhận thức theo yếu tố của nhân vật, cảnh quan, hành động và máy quay. Các mô hình ngôn ngữ đa phương thức lớn (MLLMs) cung cấp các tiền kiến hữu ích cho cả hai khả năng này, nhưng các biểu diễn của chúng không tự động có thể hành động được cho sinh video: một Video Diffusion Transformer (DiT) có thể bỏ qua chúng thông qua các tuyến đường điều kiện bản địa, và việc sử dụng chúng không đảm bảo kiểm soát theo yếu tố hay dự đoán thời gian tương thích với sinh tạo. Chúng tôi đề xuất Factor-Aware Predictive Learning (FAPL), thiết lập việc sử dụng tiềm năng MLLM một cách hiệu quả như là tiền quyết chung, sau đó nhắm vào hai khả năng này bằng các tín hiệu học tập bổ sung nhau. Đầu tiên, định vị trình sinh chỉ với tiềm năng huấn luyện DiT với MLLM đóng băng và bộ kết nối, tăng cường việc DiT sử dụng tiềm năng MLLM cho sinh tạo. Thứ hai, để kiểm soát theo yếu tố, các video đôi chỉ định thay đổi yếu tố mục tiêu và bảo toàn không phải yếu tố, và thay thế tiếp cận yếu tố huấn luyện DiT để thực hiện mối quan hệ này trong đầu ra của nó.