Phát hiện chuyển đổi ngôn ngữ thông qua các chiều số lựa chọn ngôn ngữ trong model nền tảng cho giọng nói

Phát hiện chuyển đổi ngôn ngữ thông qua các chiều số lựa chọn ngôn ngữ trong foundation model cho giọng nói. Tác giả: Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel, Natalie Schluter. Chuyển đổi ngôn ngữ (CS), tức là sự chuyển đổi giữa các ngôn ngữ trong một phát biểu, là điều phổ biến trong giọng nói đa ngôn ngữ nhưng lại thiếu hụt trong các bộ dữ liệu pretraining. Việc tăng cường độ phủ CS đòi hỏi tìm kiếm các phát biểu liên quan trong các bộ sưu tập giọng nói lớn để đưa vào dữ liệu huấn luyện. Một cách để tìm những phát biểu này là chuyển đổi giọng nói thành văn bản và phát hiện sự chuyển đổi ngôn ngữ trong văn bản, nhưng điều này phụ thuộc vào việc thu thập được bản ghi âm đa ngôn ngữ chính xác. Chúng tôi đề xuất một phương pháp nhẹ lịch sự để phát hiện CS trực tiếp từ giọng nói. Phương pháp này sử dụng thông tin ngôn ngữ ở mức khung thời gian trong các bộ mã hóa giọng nói đã được pretraining để xác định xem liệu cả hai ngôn ngữ có hiện hữu trong một phát biểu hay không. Cụ thể, chúng tôi xác định các chiều số trạng thái ẩn lựa chọn ngôn ngữ bằng bản ghi âm đơn ngôn ngữ và tổng hợp các kích hoạt ở mức khung thời gian để dự đoán CS. Với một bộ CS nhỏ được dùng để điều chỉnh quy tắc quyết định, chúng tôi chứng minh rằng bộ mã hóa Whisper-small đạt F1 trung bình là 0.798 trên 14 cặp ngôn ngữ trong CS-FLEURS, so với 0.776 cho CNN và 0.751 cho baseline tuyến tính HuBERT được huấn luyện cho nhận dạng ngôn ngữ đơn ngôn ngữ. Những phát hiện của chúng tôi cho thấy các bộ mã hóa giọng nói đã được pretraining đã mã hóa sẵn thông tin cần thiết để nhận dạng các phát biểu CS, và chúng cung cấp một công cụ nhẹ lịch sự để xây dựng các bộ dữ liệu đa ngôn ngữ đại diện hơn.