Google Gemma Inference đạt 108.000 token/giây nhờ Gemini 4 Argon

Tối ưu hóa mới nhất của Google cho mô hình gemma-4-E2B-it đã cải thiện hiệu suất xử lý 2,85x trên GPU A100 của Nvidia. Nhờ khung vLLM và Gemini 4 Argon, tốc độ thông lượng của mô hình tăng từ khoảng 37.900 lên hơn 108.000 token mỗi giây.

Tốc độ tăng được thực hiện qua 8 pull request trong vài ngày. Bản cập nhật duy trì độ đồng nhất token 100% mà không giảm chất lượng.