Một cách tiếp cận agentic có xác minh dựa trên bằng chứng cho suy luận cảm xúc đa phương thức trong hội thoại

Các hệ thống suy luận cảm xúc đa phương thức dựa trên LLM cho kết quả tốt trên các benchmark chuẩn, nhưng cải thiện chúng thông qua instruction tuning có thể tốn kém về mặt tính toán. Các pipeline agentic được xây dựng từ các mô hình đóng băng tránh được chi phí này, nhưng đưa ra một thách thức khác: khi một dự đoán sai, hệ thống phải xác định agent hoặc giai đoạn nào gây ra lỗi. Chúng tôi giải quyết vấn đề này bằng một framework agentic cho suy luận cảm xúc đa phương thức có thể truy dấu và thích ứng không gian prompt. Các agent nhận thức dựa trên modality phân tích các đầu vào hình ảnh, âm thanh và từ ngữ và đăng tải các quan sát được trích dẫn bằng chứng lên một bảng chung. Một agent tích hợp kết hợp các quan sát này với các ví dụ đa phương thức được truy xuất để sản xuất một mô tả cảm xúc, một tập nhãn và các trích dẫn hỗ trợ, trong khi một critic MLLM có thể yêu cầu một lần sửa đổi trước khi đầu ra được hoàn thiện. Đối với các dự đoán không chính xác, một giai đoạn xác minh dựa trên bằng chứng riêng biệt áp dụng các kiểm tra định lượng để xác minh rằng bằng chứng và tham chiếu được trích dẫn là hợp lệ, cũng như một kiểm tra entailment để xác định liệu các tuyên bố cuối cùng có được hỗ trợ bởi bằng chứng đó hay không.