Việc tạo video agentic dài cần biến kịch bản thành các cảnh quay luôn nhất quán về không gian và thời gian qua các yêu cầu không liên tiếp. Truyền prompt hay khung hình gần đây giữa các cảnh không cung cấp khung không gian chung để quay lại một cảnh hay bản ghi theo thời gian để phát lại sự kiện trước. Chúng tôi trình giới thiệu Any Time, Any Space (ATAS), biên dịch kịch bản thành các yêu cầu cảnh quay với tham chiếu vị trí, camera và thời gian sự kiện rõ ràng. Trước khi tạo, nó lấy bằng chứng liên quan từ bộ nhớ cảnh chứa hình học tĩnh đã đăng ký và bộ nhớ sự kiện chứa quan sát động được lập chỉ mục theo cảnh, sự kiện và thời gian. Sau khi tạo, ATAS tái tạo và đăng ký đoạn clip. Bộ nhớ chỉ được cập nhật khi đánh giá và kiểm tra trạng thái chấp nhận quan sát, trong khi việc giao phim vẫn độc lập với việc chấp nhận bộ nhớ. Trên bốn bộ tạo video, ATAS cải thiện mọi chỉ số đo độ nhất quán liên cảnh được báo cáo và đạt điểm benchmark tổng hợp cao nhất cho mỗi nền tảng. Nó cũng vượt trội hơn các agent so sánh và phương pháp hướng dẫn 3D trên việc tái ghé thăm hình ảnh mục tiêu, dẫn đầu ba tiêu chí tái cập nhật sự kiện và nhận xếp hạng con người cao nhất trên tất cả sáu tiêu chí.
Nguồn chính
- SOURCEhuggingface.co