PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos

Đánh giá tính nhất quán vật lý của video được tạo ra vẫn là một thách thức cơ bản. Các phương pháp hiện có dựa vào các mô hình thị giác ngôn ngữ đã sẵn sàng, những mô hình này thường bị hạn chế trong việc nhận diện động lực học vật lý, hoặc các bộ đánh giá được fine-tune trên các chú thích con người, những bộ này dễ bị quá phù hợp với các dấu hiệu đặc thù của bộ dữ liệu và không thể tổng quát hóa. Một thách thức quan trọng là các nguồn giám sát hiện có cung cấp hoặc thứ tự tương đối hoặc điểm số tuyệt đối, nhưng không cả hai một cách đáng tin cậy và nhất quán trên nhiều môi trường khác nhau. Để giải quyết vấn đề này, chúng tôi giới thiệu PhyProbe, một bộ đánh giá trích xuất các đặc trưng từ một bộ mã hóa không gian-thời gian được huấn luyện trước đó và ánh xạ chúng sang một điểm số vi phạm nhất quán vật lý thông qua một đầu đánh giá nhẹ nhàng. PhyProbe được huấn luyện thông qua một mục tiêu thống nhất kết hợp xếp hạng đôi, hồi quy trên các chú thích vô cùng và hiệu chuẩn dựa trên neo trên một tập hợp được tuyển chọn của các nguồn giám sát đa dạng.