VisionWeave: dệt các biểu diễn hình ảnh linh hoạt như một khả năng bản địa của MLLMs

Các mô hình ngôn ngữ lớp đa dạng (MLLMs) đã trở thành mô hình chủ đạo cho hiểu biết hình ảnh, nhưng tốn chi phí lớn do mã hóa đầu vào thành các token patch mật độ cố định kích thước. Tuy nhiên, thông tin hình ảnh phân bố không đồng đều: một số khu vực cần chi tiết tinh vi, trong khi các khu vực khác cho phép biểu diễn nén. Giảm mẫu hy sinh chi tiết này, trong khi các phương pháp cắt token hiện có và cách tiếp cận thích ứng vẫn bị giới hạn về độ tinh vi nội dung thích ứng, khả năng tổng quát hóa nhiệm vụ và tích hợp với MLLMs hiện đại cũng như hạ tầng phục vụ. Vượt qua những hạn chế này đòi hỏi các foundation model học tập, từ đầu đến cuối, nơi và ở mức độ tinh vi nào để phân bổ biểu diễn hình ảnh — một khả năng bản địa chúng tôi gọi là dệt biểu diễn hình ảnh linh hoạt. Chúng tôi giới thiệu VisionWeave, thiết lập khả năng này trong các MLLMs cấp tiên phong thông qua huấn luyện quy mô lớn. Nó kết hợp hai thành phần: một bộ lọc không gian có cửa sổ xây dựng các biểu diễn tinh vi c co cùng với các biểu diễn tinh vi gốc trong một tọa độ MRoPE chung, trong khi một bộ định tuyến độ tinh vi học cách phân bổ nội dung thích ứng.