SolarRenderer: Few-Step Generative Reference Rendering

Các engine game và agent code có thể chỉ định bố cục, chuyển động và camera của một cảnh, nhưng biến cấu trúc thô như vậy thành video thực tế đòi hỏi một renderer phải tuân thủ cấu trúc và hoàn thiện diện mạo mà nó để trống. Các renderer hiện có bị ràng buộc vào biểu diễn của một engine duy nhất, cần hàng chục bước khử nhiễu hoặc một quá trình rút gọn tốn kém, và học từ các điều kiện không căn chỉnh với video mục tiêu. Chúng tôi trình bày SolarRenderer, một renderer video có điều kiện bởi cấu trúc, thích ứng một backbone MiniMax-H3 33B đóng băng với hai LoRA nhẹ. Video cấu trúc nhập vào đường truyền tham chiếu nguyên bản của backbone tại các vị trí khung hình mà chúng mô tả, không cần nhận dạng kiểu và chỉ mô tả bằng văn bản thường, để một LoRA điều khiển duy nhất có thể làm theo bất kỳ biểu diễn cấu trúc nào. Bắt đầu từ một LoRA tiền huấn luyện bốn bước, khới so trùng có hướng dẫn từ cấu trúc hoạt động trong bốn bước, nhanh 12,3 lần so với lấy mẫu 50 bước, trong khi vẫn giữ lại khả năng điều khiển đã học. Một biến thể gây ra theo khối mở rộng thiết kế tương tự cho phát trực tuyến và render video 768p trong thời gian thực.