Omni-Woodpecker: sửa lỗi nhầm lẫn thông qua cân bằng lại bằng bằng chứng ưu tiên cho LLMs đa năng

Các mô hình LLMs gần đây (OLLMs) đã cho thấy khả năng đáng chú ý trong suy luận đa phương thức âm thanh-hình ảnh, nhưng các trường hợp nhầm lẫn liên ngưỡng vẫn là thách thức lớn. Các phương pháp giảm thiểu hiện có chủ yếu hoạt động ở mức đầu ra, bỏ qua sự ràng buộc giữa bằng chứng nền tảng và các tiền kiến đã học trong các biểu diễn kết hợp. Để giải quyết vấn đề này, chúng tôi đề xuất Omni-Woodpecker (OWP), một khung truyền thống không cần huấn luyện, chuyển việc giảm thiểu nhầm lẫn từ thao tác ở mức đầu ra sang việc cân bằng lại biểu diễn dựa trên xung đột. Cụ thể, OWP đầu tiên xác định các xung đột liên ngưỡng từ các quan điểm bổ sung của từng phương thức. Sau đó, OWP sử dụng phân tích trực giao để tách bằng chứng nền tảng ra khỏi các tiền kiến cạnh tranh trong các trạng thái ẩn. Cuối cùng, OWP cân bằng lại các biểu diễn kết hợp một cách thích ứng bằng cách ức chế các tiền kiến gây nhầm lẫn và khôi phục lại bằng chứng đã bị bỏ qua trước khi giải mã. Nhiều thí nghiệm rộng rãi chứng minh hiệu quả và khả năng tổng quát hóa mạnh mẽ giữa các kiến trúc của OWP.