Generalisation giống con người giữa các ngôn ngữ trong embedding người nói mạng nơ-ron sâu và nền tảng âm thanh

Tính tổng quát là một câu hỏi trung tâm đối với các mạng nơ-ron sâu, bao gồm cả tính tổng quát giữa các ngôn ngữ của embedding người nói. Nghiên cứu này điều tra xem các embedding người nói dựa trên mạng nơ-ron sâu có tổng quát hóa giữa các ngôn ngữ hay không và mối quan hệ giữa sự tổng quát hóa này với cảm nhận con người cũng như cấu trúc âm thanh. Bằng cách sử dụng đối thoại song ngôn ngữ Cantonese--Anh được trình bày trong các điều kiện nội ngôn ngữ và liên ngôn ngữ, chúng tôi suy luận độ tương tự từ 18 mô hình tiên tiến nhất và so sánh chúng với đánh giá của con người cũng như các đặc trưng âm thanh bằng mô hình hỗn hợp tuyến tính và phân tích đại diện. Các embedding cho thấy sự tổng quát hóa liên ngôn ngữ paralell với hành vi con người, phản ánh khả năng phân biệt danh tính chính xác và nhạy cảm với sự chuyển đổi ngôn ngữ. Sự tổng quát hóa này dựa trên các tín hiệu âm thanh chủ yếu được chia sẻ với trọng số nhạy cảm với ngôn ngữ, phản ánh mẫu hình của con người. Những phát hiện này cung cấp bằng chứng hội tụ cho sự căn bản hóa giữa con người và máy trong xử lý độ tương tự giọng nói liên ngôn ngữ.