StreamEval: Đánh giá mô hình sinh video trực tuyến tương tác

Khi sinh video trực tuyến phát triển, khả năng tương tác thời gian thực với video được tạo ra ngày càng quan trọng. Chúng tôi giới thiệu StreamEval, một benchmark thống nhất cho sinh video trực tuyến tương tác bao phủ năm nhiệm vụ: hội thoại avatar, biểu diễn avatar, sinh thế giới, chỉnh sửa theo hướng dẫn và chỉnh sửa tham chiếu. StreamEval bao gồm 300 trường hợp kiểm thử được kịch bản hóa kéo dài từ 15-300 giây, mỗi trường hợp chỉ định tài sản ban đầu, yêu cầu đa phương thức đến tăng dần và yêu cầu rõ ràng về thay đổi trạng thái và bảo toàn nội dung. Hiệu suất được đánh giá dựa trên bốn chiều kích thước: thực thi nhiệm vụ, nhất quán trạng thái, chất lượng hình ảnh và điều phối âm thanh hình ảnh, cụ thể hóa qua mười chỉ số đặc thù nhiệm vụ trên thang điểm 0-100. Khi đánh giá 37 mô hình khác nhau trên 300 trường hợp kiểm thử, chúng tôi phát hiện rằng chất lượng hình ảnh cao và duy trì nhận dạng không nhất thiết đi đôi với việc thực thi yêu cầu tin cậy hoặc nhất quán trạng thái kéo dài.