Nvidia mở mã nguồn mô hình gắn nhãn người nói cho 8 giọng nói chồng lấn

Nemotron 3 Diarization giúp các nhà phát triển giữ bản ghi chép sạch bằng cách phân biệt nhiều người nói trong cùng một luồng âm thanh. Mô hình 100M parameter, hiện có mặt dưới dạng open weight trên Hugging Face, nhận diện được tối đa 8 người nói và theo dõi danh tính ngay cả khi giọng chồng lấn lên nhau. Nvidia phát hành công cụ theo giấy phép thân thiện với thương mại, cho phép triển khai trên thiết bị cục bộ hoặc trên cloud.

Công cụ hướng đến voice agent và các ứng dụng AI thời gian thực, nhằm cải thiện khả năng máy nhận biết ai đang nói với mình. Nó tích hợp sẵn với Transformers ngay từ đầu và có thể kết hợp với các mô hình chuyển ngữ - phiên âm hiện có. Thử nghiệm sớm với DGX Spark và robot Reachy Mini cho thấy hệ thống nhận ra giọng mới, hỏi tên và ghi nhớ được.