Wave forcing towards speed-of-light streaming video generation

Tạo video dài thời gian thực đòi hỏi đầu ra liên tục với hình thức nhất quán và chuyển động tự nhiên. Các phương pháp autoregressive theo từng chunk hiện tại gặp thách thức về hiệu suất tạo sinh và chất lượng video dài: khử nhiễu tuần tự và làm mới history-cache cần hai forward pass ngay cả với khử nhiễu một bước, và rollout dài hơn có thể làm giảm chất lượng và gây trôi camera. Chúng tôi đề xuất Wave Forcing WF, thiết kế đồng thời tạo sinh, huấn luyện và thực thi cho đầu ra video liên tục với khử nhiễu nhiều bước. WF dùng causal attention theo từng chunk để truy cập các chunk sạch hơn, sớm hơn trước khi khử nhiễu hoàn tất, và phân bổ các giai đoạn khử nhiễu và làm mới cache xen kẽ trên các bản sao full-model để đạt được F1C: một chunk đầu ra trên mỗi vòng forward đồng thời sau khi pipeline đầy. Để thích ứng mô hình với quy trình tạo sinh liên tục này, chúng tôi phát triển quy trình huấn luyện ba giai đoạn, lần lượt giới thiệu khử nhiễu mixed-noise, giám sát chuyển động và thích ứng causal bằng cách dùng history tự tạo.