Xử lý rồi truy xuất: điều tra nguồn gốc khoảng cách modality trong vision-language models

Việc tìm hiểu nguồn gốc của khoảng cách modality trong vision-language models vẫn là một thách thức lớn. Nghiên cứu này xem xét liệu sự khác biệt về mật độ thông tin giữa các token chuyên biệt theo modality ở lớp embedding có góp phần gây ra sự mất cân bằng này hay không. Nhóm tác giả chỉ ra rằng các token văn bản đi vào mô hình với mật độ ngữ nghĩa thấp hơn nhiều so với các token hình ảnh, khiến các lớp đầu tập trung xử lý biểu diễn văn bản trước khi kết hợp với hình ảnh. Thông qua phân tích cơ chế, nhóm tác giả chứng minh rằng việc thay thế vị trí token hình ảnh bằng các token văn bản gần nghĩa nhất sẽ làm tăng sự chú ý đến các vị trí đó ở các lớp đầu. Những phát hiện này tạo nền tảng để giải quyết khoảng cách modality và cung cấp cái nhìn sâu sắc nhằm cải thiện reasoning đa phương thức trong kiến trúc VLM.