FrameForge tận dụng priors của video foundation model cho image generation thống nhất

Image generation có điều kiện thống nhất đòi hỏi một model duy nhất để giữ các khía cạnh khác nhau của input hình ảnh trong khi tạo ra ảnh mục tiêu theo hướng dẫn văn bản. Các video foundation model đã huấn luyện cung cấp nền tảng hứa hẹn bằng cách mã hóa các biến đổi hình ảnh theo thời gian, nhưng các phương pháp hiện tại thường gán điều kiện và mục tiêu vào các vị trí thời gian cố định. Chúng tôi nhận thấy mối quan hệ điều kiện-mục tiêu thay đổi đáng kể giữa các task generation, trong khi video model tự nhiên mã hóa các biến đổi hình ảnh ở các thang thời gian khác nhau. Điều này thúc đẩy chúng tôi mô hình hóa generation có điều kiện thông qua các quan hệ thời gian ảo thích ứng với input. Chúng tôi đề xuất FrameForge, nắm bắt hai khía cạnh bổ sung của các quan hệ này. MoTE mô hình hóa mục tiêu cách điều kiện bằng cách chọn động các expert RoPE thời gian với các khoảng ảo khác nhau. CoTR mô hình hóa cách điều kiện được biến đổi thành mục tiêu qua một trạng thái trung gian tiềm ẩn, với attention mask cổ chai reasoning khuyến khích lan truyền thông tin qua con đường này.