dNaViT: Discrete codes là biểu diễn hình ảnh đa dụng

Mô hình tự hồi quy rời rạc, đặc biệt qua dự đoán next-token, đã trở thành nền tảng của các LLM hiện đại. Mở rộng mô hình này sang vision giúp các mô hình hình ảnh và ngôn ngữ hội tụ trong một framework thống nhất, thúc đẩy phương pháp và cơ sở hạ tầng chung. Công trình này xem xét câu hỏi cốt lõi: từ vựng rời rạc hữu hạn có thể đại diện cho sự phong phú của thế giới hình ảnh đến mức nào? Nhóm tác giả trình bày dNaViT, một Discrete Native-resolution Vision Transformer tạo ra các primitive hình ảnh rời rạc tương tự như token ngôn ngữ. Dựa trên một encoder đã được huấn luyện và đóng băng, dNaViT áp dụng residual modulation nhẹ với mục tiêu hai nhánh để đưa các tín hiệu nhận biết tái tạo vào các semantic feature. Bằng cách tận dụng grouped product quantization, nó mở rộng capacity rời rạc mà không làm tăng độ dài sequence không gian, đồng thời một công thức huấn luyện cân bằng duy trì cả thông tin semantic và pixel-level. Do đó, dNaViT hoạt động như một discrete visual tokenizer đa năng, cho phép mã hóa thống nhất trên các tác vụ hạ nguồn cùng với giải mã hình ảnh có độ trung thực cao.