Sinh tạo video dựa trên mã nguồn cung cấp khả năng kiểm soát tinh vi, chỉnh sửa mục tiêu và tái sử dụng thành phần so với sinh tạo video trực tiếp. Cách tiếp cận này yêu cầu các mô hình ngôn ngữ lớn đa phương thức (MLLMs) dịch các yêu cầu thị giác và thời gian thành các chương trình thực thi sản xuất video hoàn chỉnh. Tuy nhiên, các bản đồ chuẩn hiện có về sinh tạo video dựa trên mã nguồn chủ yếu tập trung vào các nhiệm vụ chuyên biệt, để lại việc đánh giá việc tạo video hoàn chỉnh trên nhiều thể loại sáng tạo đa dạng và các hình thức đầu vào chưa đủ.
Chúng tôi giới thiệu Code2Video-Compass, một benchmark chung cho sinh tạo video dựa trên mã nguồn trên các cài đặt văn bản-thành-video (T2V), hình ảnh-thành-video (I2V), và video-thành-video (V2V). Code2Video-Compass bao gồm 2.104 nhiệm vụ lan tỏa trên 10 thể loại, 24 phụ loại, và ba kích thước độ phức tạp bao phủ cấu trúc, hoạt họa động và phụ thuộc trạng thái. Nó kết hợp các nhiệm vụ được chọn lọc từ hướng dẫn văn bản và tham chiếu hình ảnh với các nhiệm vụ T2V, I2V, và V2V tương ứng được rút ra từ các video chuyên nghiệp và người dùng hoàn chỉnh.
Chúng tôi đề xuất một khung đánh giá hai cấp độ kết hợp 12 chỉ số mục tiêu và năm chỉ số chủ quan.
Nguồn chính
- SOURCEhuggingface.co