Nhận diện Ambivalence và Hesitancy đa phương thức bằng cơ chế Bidirectional Audio--Text Cross-Attention

Ambivalence và Hesitancy (A/H) là những trạng thái hành vi tinh tế có thể được thể hiện qua cả nội dung nói và cách nói của một người. Nghiên cứu này giới thiệu một khung làm việc audio--text để nhận diện A/H ở cấp độ video. Bản ghi toàn bộ video và dạng sóng giọng nói lần lượt được mã hóa bằng BERT đa ngôn ngữ và wav2vec 2.0 đã qua huấn luyện, sau đó được chiếu vào một không gian biểu diễn chung. Hai khối bidirectional cross-attention xếp chồng cho phép các token ngôn ngữ chú ý đến các khung âm thanh và các khung âm thanh chú ý đến ngữ cảnh ngôn ngữ mà không cần căn chỉnh thời gian rõ ràng. Các chuỗi kết quả được tổng hợp thông qua masked mean pooling và kết hợp bằng cách nối chuỗi, nhân từng phần tử hoặc lấy hiệu giá trị tuyệt đối để phân loại nhị phân. Chúng tôi đánh giá mô hình trên tập dữ liệu BAH được chia theo phương pháp không phụ thuộc đối tượng. Hệ thống đề xuất đạt độ chính xác 72,19%, precision 75,00%, recall 81,13%, F1-score A/H là 77,95% và Macro-F1 là 70,16% trên tập kiểm tra.