UniEvo-VL: Huấn luyện self-distillation để mô hình đa phương thức tự cải thiện

Các mô hình đa phương thức hiện đại tích hợp khả năng tạo sinh và hiểu biết vào một hệ thống duy nhất, cho phép chúng tự đưa ra phản hồi và học hỏi từ chính phản hồi đó. Từ năng lực chung này, nhóm giới thiệu UniEvo-VL, một framework tự tiến hóa để mô hình đa phương thức học hỏi từ phản hồi tự sửa lỗi có tính xây dựng trong quá trình tính toán thời gian chạy. Thay vì dựa vào một mô hình giáo viên riêng biệt và thường lớn hơn, họ tận dụng các đánh giá phê bình của chính mô hình làm thông tin đặc quyền, đồng thời yêu cầu một mô hình đa phương thức duy nhất đóng vai trò cả giáo viên lẫn học sinh với các ngữ cảnh khác nhau. Học sinh chỉ nhìn thấy câu hỏi thông thường, trong khi giáo viên dựa trên đánh giá phê bình đặc quyền. Sau đó, quá trình huấn luyện sẽ giảm thiểu sự phân kỳ trên mỗi trạng thái giữa các phân phối khuếch tán khử nhiễu của chúng trên các quỹ đạo lấy mẫu của chính học sinh. Các thí nghiệm cho thấy UniEvo-VL cải thiện năng lực tạo sinh hình ảnh của các mô hình đa phương thức, đồng thời duy trì độ nhạy của chúng với thông tin phản chiếu bổ sung. Cụ thể, họ xây dựng dựa trên nền tảng open-source Qwen-image-2512 và ghi nhận mức tăng hiệu suất đáng kể từ 0,747 lên 0,808 trên GenEval, cùng từ 32,97 lên 35,53 trên GenEval2 Soft-TIFA. Hơn nữa, các thử nghiệm với những mô hình phê bình bên ngoài mạnh mẽ hơn (như GPT5.6-Luna) cho thấy các mô hình đa phương thức có năng lực đánh giá mạnh mẽ có thể dựicipate trần tự tiến hóa cao hơn. Cuối cùng nhưng không kém phần quan trọng, kết quả hiển thị văn bản hỗn hợp cho thấy việc tự cải thiện có thể không đồng đều ở các tác vụ khác nhau. Nghiên cứu nhằm làm rõ hướng nghiên cứu tự cải thiện đệ quy đang rất nóng hiện nay để nâng cao trải nghiệm người dùng khi dùng các mô hình đa phương thức mà không cần sự giám sát hay hướng dẫn từ bên ngoài.