Khả năng của bộ mã hóa giọng nói Gemma 4 khi không thay đổi trọng số: Nhận dạng giọng nói tiếng Arabic vùng Saudi và Gulf với bộ mã hóa đóng băng và bộ mã hóa tăng cường adapter

Chúng tôi nghiên cứu audio encoder 305M-parameter được dùng chung bởi Gemma 4 và EmbeddingGemma 2 (giống hệt nhau ngoại trừ phần projection cuối cùng) để nhận dạng giọng nói tiếng Arabic vùng Saudi và Gulf mà không thay đổi bất kỳ trọng số nào. Hệ thống đóng băng chỉ huấn luyện một CTC reader 22,6M-parameter trên hỗn hợp các lớp encoder; trong khi hệ thống được điều chỉnh sẽ thêm 3,1M tham số low-rank adapter, một hybrid CTC/attention reader 41,5M-parameter và giải mã kết hợp với một sub-word language model. So với Cohere Transcribe Arabic (2,07B parameters) khi chạy lại trên cùng dữ liệu âm thanh, hệ thống đóng băng có WER cao hơn nhưng không khác biệt về mặt thống kê ở CER trong 5 trên 6 điều kiện được con người dán nhãn, đồng thời chạy nhanh hơn 3,4 lần trên CPU với greedy decoding. Hệ thống được điều chỉnh có WER không khác biệt về mặt thống kê trong một cuộc gọi chăm sóc khách hàng công cộng tại Saudi (19,20% so với 19,27%) và trên giọng nói Emirati chuẩn; hệ thống này tốt hơn đáng kể trên giọng nói Emirati qua điện thoại, có CER thấp hơn đáng kể ở cả 6 điều kiện của các bộ dữ liệu này, và vượt qua một bộ nhận dạng 0,6B được fine-tune trên SADA về WER ở cả 6 điều kiện; tuy nhiên, nó vẫn kém Cohere về WER đối với giọng nói Saudi dạng dài.