IntReal: Bộ dữ liệu và benchmark sinh tạo đa phương thức xen kẽ thực tế

Con người thường tiêu thụ nội dung đa phương thức, nơi thông tin văn bản và hình ảnh được xen kẽ một cách tự nhiên. Mặc dù các mô hình đa phương thức thống nhất (UMMs) có thể sinh tạo văn bản và hình ảnh cùng lúc, nhưng sinh tạo đa phương thức xen kẽ vẫn chưa được khai thác rộng rãi. Tiến bộ trong lĩnh vực này bị hạn chế bởi hai rào cản chính: (1) thiếu các nhiệm vụ sinh tạo xen kẽ được định nghĩa rõ ràng và dữ liệu huấn luyện tương ứng, và (2) thiếu giao thức đánh giá chi tiết có thể chẩn đoán hiệu suất mô hình một cách tin cậy trên các chiều khả năng khác nhau. Để giải quyết vấn đề này, chúng tôi trình bày IntReal, bao gồm hai thành phần bổ sung: IntReal-100K, một bộ dữ liệu thực tế gồm các mẫu đa phương thức xen kẽ trải rộng qua bốn danh mục chính, và Bộ đánh giá IntReal, đánh giá hiệu suất mô hình trên bảy chiều khả năng bổ sung bằng các mô hình chuyên gia, cho phép chẩn đoán từ thô sang chi tiết.