Các bộ tạo video tự động bước ít cho phép sinh streaming, nhưng chúng đều chạy mỗi token qua bước làm sạch cuối cùng, bất kể mức độ tinh chỉnh cần thiết. Chúng tôi nhận thấy sự tính toán đồng nhất này thường không cần thiết: nhiều token đã khớp rất gần với đầu ra cuối cùng trong các bước đầu tiên, trong khi những token khác cần được tinh chỉnh cho đến cuối cùng. Chúng tôi giới thiệu Speculative Forcing, một khung làm việc coi các ước tính sạch trung gian như những bản nháp và dự đoán khi nào từng token có thể được chấp nhận an toàn sớm. Một khi được chấp nhận, một token sẽ bị đóng băng như đầu ra cuối cùng và không trải qua bất kỳ bước làm sạch nào khác, trong khi các khóa và giá trị đã lưu trữ của nó vẫn khả dụng như bối cảnh cho các token còn lại. Chúng tôi khám phá hai thiết kế xác minh thay thế: một thiết kế không cần huấn luyện dựa trên độ tương tự với nội dung sạch và độ ổn định qua các bước, và một thiết kế được học dựa trên tính năng trung gian của bộ tạo đã bị đóng băng để ước tính khoảng cách còn lại của từng token so với đầu ra đầy đủ. Trên toàn bộ sinh video ngắn, video dài và thế giới, Speculative Forcing duy trì chất lượng của việc lấy mẫu đầy đủ trong khi giảm đáng kể sự tính toán.
Nguồn chính
- SOURCEhuggingface.co