MoPE-LoRA: Mixture of Phonetic Experts dựa trên Low-Rank Adaptation cho mô hình Conformer nhận dạng giọng nói Anh ngữ có vần

Chúng tôi trình bày MoPE-LoRA (Mixture of Phonetic Experts based Low-Rank Adaptation), một khung cơ chế thích ứng hiệu quả tham số cho nhận dạng giọng nói Anh ngữ có vần. Các phương pháp mixture-of-experts gần đây thường phân bổ các experts theo từng giọng nói, ngầm coi nhận diện giọng nói là trục biến thể chính. Ngược lại, chúng tôi sắp xếp sự thích ứng dọc theo các hạng mục phonetically, dựa trên quan sát rằng sự khác biệt giọng nói thường được thể hiện dưới dạng biến dạng có hệ thống của việc phát âm nguyên âm. MoPE-LoRA giới thiệu một tập hợp cố định sáu experts low-rank được căn chỉnh với các lớp manner-of-articulation và thực hiện định tuyến ở mức khung thông qua cơ chế kết hợp giữa sự giám sát phoneme và cơ chế nghe acoustics được học. Vì tập experts được chia sẻ trên tất cả giọng nói, mô hình không yêu cầu các module đặc biệt cho từng giọng nói và tự nhiên mở rộng sang các giọng nói chưa từng thấy. Thí nghiệm trên L2-ARCTIC cho thấy MoPE-LoRA cải thiện đều so với LoRA đơn lẻ và fine-tune đầy đủ. Trong đánh giá zero-shot khi một giọng nói được giữ lại trong quá trình huấn luyện, phương pháp đề xuất mang lại cải thiện 12,3% so với LoRA đơn lẻ.