Mô hình embedding đa phương thức mở đầu tiên của Google vận dụng cho ứng dụng Foresight cục bộ

Ứng dụng ghi âm voice-note mới trên macOS hiện dùng AI cục bộ để tạo các biểu đồ tri thức từ Google Drive mà không cần kết nối đám mây. Ứng dụng Foresight do Google ra mắt kết hợp mô hình EmbeddingGemma với các phiên bản cục bộ của Gemma, cụ thể là các biến thể E4B hoặc 12B, để chuyển đổi âm thanh thành văn bản và sắp xếp dữ liệu hoàn toàn trên thiết bị của người dùng. Cộng đồng lập trình viên đã đón nhận mô hình này ngay lập tức, với sự tích hợp day-0 từ các nhà cung cấp AI framework bao gồm vLLM, Ollama, SGLang và llama.cpp.

Mô hình 740M parameter cho phép hợp nhất văn bản, mã nguồn, hình ảnh, video và âm thanh trong một không gian embedding chung, dùng từ 191MB đến 567MB RAM hoạt động. Trong các bài kiểm tra hiệu năng, dung lượng lưu trữ cho 10M vector đã được nén từ 30GB xuống còn 0,4GB RAM nhờ sử dụng 1-bit TurboQuant và Matryoshka Representation Learning. Mức giảm bộ nhớ gấp 77 lần này đạt được trong khi vẫn giữ lại 94,5% chất lượng truy xuất gốc.