Đằng sau tạo video: quan sát và hiểu biết đa phương thức từ Kling

Tạo video đã tiến từ các câu video độc lập đến các chuỗi âm thanh - hình ảnh ngắn mạch lạc, và nút cổ chai đang dịch chuyển từ kết xuất sang kiểm soát ngữ nghĩa. Báo cáo này tóm tắt những quan sát và hiểu biết về đa phương thức thu được từ các thế hệ liên tiếp của Kling. Chúng tôi cho rằng chất lượng tạo là phép chiếu của hiểu biết đa phương thức qua toàn bộ chuỗi dữ liệu - điều kiện - căn bằng - đánh giá, và chúng tôi kiểm tra từng mô-đun của chuỗi này. Kling-MLLM, một foundation model đa phương thức chung, thống nhất hình ảnh, video, âm thanh, âm thanh - video đồng bộ và đầu vào xen kẽ, được chuyên hoá cho từng mô-đun hạ lưu. Vì một DiT được huấn luyện trên ít mẫu huấn luyện hơn so với mô hình ngôn ngữ, chúng tôi coi việc ghi chú là một hợp đồng ngữ nghĩa tối đa hoá mật độ mô tả, và mở rộng thành ghi chú dựa trên tham chiếu để làm rõ các ràng buộc tham chiếu. prompt enhancement dịch nghĩa ý định người dùng vào phân phối ghi chú này: PE cơ bản được suy ra từ ghi chú của những video cuốn hút và được tinh chỉnh bằng text-level và generator-in-the-loop reinforcement learning, trong khi agentic PE tinh chỉnh câu chuyện và truy xuất các ví dụ cuốn hút.