Data18.11.2026 · 12:001 nguồn
MInfoVisQA: benchmark đa ngôn ngữ cho bài toán trả lời câu hỏi hình ảnh giàu thông tin
Từ arxiv.org
Các MLLMs tỏ ra xuất sắc trong các tác vụ thị giác-ngôn ngữ, nhưng việc liệu chúng có duy trì khả năng hiểu nhất quán đối với các hình ảnh giàu thông tin (InfoVis) khi ngôn ngữ bề mặt thay đổi hay không vẫn chưa rõ ràng. Để định lượng khả năng này, nhóm tác giả giới thiệu MInfoVisQA, một benchmark song song với 8.960 cấu hình QA được dẫn xuất từ 128 trường hợp gốc trên 24 ngôn ngữ. Nhóm tác giả xây dựng các cặp QA và hình ảnh song song theo ngôn ngữ, khớp với các mẫu gốc bằng cách tách biệt dữ liệu cấu trúc-số học khỏi văn bản và đồng bộ hóa các nhãn đã dịch bằng lập trình. Nhóm tác giả đánh giá 25 MLLMs dưới hai thiết lập: LQA (khớp ngôn ngữ của văn bản hình ảnh và QA) và XQA (ngôn ngữ QA cố định với các ngôn ngữ hình ảnh thay đổi). Kết quả cho thấy độ chính xác tổng thể đã che lấp những khoảng cách lớn về tính ổn định: hai mô hình có độ chính xác LQA trung bình tương đương nhau (80,4%) lại có mức chênh lệch hiệu suất giữa các ngôn ngữ lần lượt là 7,8 và 20,3 điểm phần trăm. Hơn nữa, cả 25 mô hình đều đạt điểm thấp hơn khi xử lý hình ảnh không phải tiếng Anh với câu hỏi QA tiếng Anh cố định, nhấn mạnh nhu cầu về các thước đo độ nhạy đa ngôn ngữ.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay