llama.cpp phát hành v0.9.0 hỗ trợ native FP8 và tensor parallelism đa node

Phiên bản v0.9.0 của thư viện llama.cpp giới thiệu hỗ trợ native FP8 (OCP E4M3) và cho phép tensor parallelism trên nhiều node thông qua NCCL. Bản cập nhật này cũng cải thiện việc phục vụ đa chuỗi và tăng tốc độ prefill cho các model Gemma 4 E2B và E4B, cùng với khả năng tương thích mới với các model Mistral Large 4, Metis-1.6 và Clover. Nhóm phát triển cho biết dự án đang chuẩn bị ra mắt phiên bản 1.0.0, lần phát hành lớn đầu tiên, trong vài tuần tới. Bản cập nhật v0.9.0 còn bổ sung khả năng giọng nói cho thư viện, tích hợp Chatterbox TTS và Nemotron 3.5 Transcribe. Các từ giữ lại là v0.9.0, FP8, OCP, E4M3, NCCL, E2B, E4B, Metis-1.6, TTS.