WeVisOne-VL: Thị giác đa nhiệm thống nhất từ đối tượng đến pixel

Các mô hình thị giác ngôn ngữ (VLMs) hiện tại vẫn chưa đáng tin cậy cho thí nhận chi tiết. Trong báo cáo này, chúng tôi trình bày WeVisOne-VL (WeChat Vision All-in-One), một VLM mạnh mẽ thống nhất thí nhận cấp độ đối tượng và cấp độ pixel thông qua dự báo next-token có cấu trúc. Nó hỗ trợ nhiều nhiệm vụ thị giác bao gồm phát hiện đối tượng, định vị tham chiếu, đếm, OCR, phân đoạn và tách nền, cho phép định vị ở bất kỳ mức độ chi tiết nào do người dùng chỉ định, từ điểm và hộp đến mặt nạ và alpha mattes. Về kiến trúc, chúng tôi tích hợp một bộ giải mã pixel nhẹ vào VLM thông qua một token <OBJ> đặc biệt để tạo ra đầu ra pixel cấp độ thực thể. Chúng tôi huấn luyện mô hình bằng chương trình dạy tập trung ba giai đoạn SFT sau đó là RL nhiệm vụ hỗn hợp. Trên hơn 30 benchmark, WeVisOne-VL cho thấy hiệu suất dẫn đầu cả ở nhiệm vụ cấp độ đối tượng và cấp độ pixel, đồng thời duy trì khả năng từ chối vững chắc cho các truy vấn không có đối tượng. Bằng cách phát hành WeVisOne-VL cho cộng đồng nguồn mở, chúng tôi hy vọng thúc đẩy VLMs từ hiểu biết thị giác rộng lớn hơn đến các hệ thống nhận thức thực sự đáng tin cậy cho triển khai thực tế.