Một lập trình viên tái định hướng multimodal model EmbeddingGemma 2 thành một công cụ chuyển đổi giọng nói thành văn bản đạt tốc độ gấp 288 lần thời gian thực trên một chiếc máy MacBook Air dùng chip M3 cơ bản. Nhờ khai thác cách mô hình ánh xạ âm thanh và từ ngữ được nói vào một embedding space chung, công cụ này có thể chép lại một giờ ghi âm trong khoảng 13 giây mà không cần dùng đến đám mây.
Mô hình với 740M parameter do Google phát hành theo giấy phép Apache 2.0 đang hỗ trợ làn sóng ứng dụng Mac chạy cục bộ mới, bao gồm công cụ tìm kiếm DigUp và ứng dụng Foresight của chính Google. Các bản cài đặt gần đây từ cộng đồng cho thấy mô hình này xử lý khoảng 620 bài đăng mỗi giây trên Apple M5 Pro Neural Engine. Kiến trúc này hợp nhất văn bản, hình ảnh, âm thanh và video, giúp nó vượt qua một số mô hình chuyên biệt có kích thước lớn gấp đôi trên nhiều benchmark khác nhau.
Nguồn chính
- SOURCE@tslshahir“transcribes an hour of audio in about 13 seconds: 288× real time”x.com
- SOURCE@googledeepmind“outperforming some specialist models more than twice its size”x.com
- SUPPORT@ivanfioravanti“Google Embedding Gemma 2 is the DeepSeek moment of embedding models”x.com
- SOURCE@alex_tra_memory“10,080 posts sorted into topics live, ~620/s on a MacBook”x.com
- SUPPORT@seraandroid“leverage Apple’s Neural Engine and this project working with EmbeddingGemma 2”x.com
- SUPPORT@fdaudens“A dev built DigUp, which is basically what search on your Mac should be”x.com
- SUPPORT@clementdelangue“Introducing EmbeddingGemma 2, our new open embeddings model for on-device use cases!”x.com
- SUPPORT@testingcatalog“uses local models, Gemma 4 E4B or Gemma 4 12B, to transcribe voice notes”x.com