Các tối ưu hóa GPU mới được đưa vào thư viện llama.cpp giúp tăng mạnh hiệu quả sinh token trên phần cứng Apple. Những cập nhật này cho phép speculative decoding chạy ở tốc độ 110 tok/s trên M3 Ultra so với 32.1 tok/s của giải mã thông thường, đạt mức tăng tốc gấp 3,4 lần. Qua đó, thư viện đã đảo ngược tình trạng chậm trước đây khi phương pháp dự đoán chạy chậm hơn cách thực thi tiêu chuẩn.
Một bản cập nhật sau đó đã mở rộng các Metal kernel này để phủ kín toàn bộ 26 định dạng trọng lượng được GPU Mac hỗ trợ, bao gồm BF16 và MXFP4. Việc mở rộng này giúp các phép nhân ma trận chạy nhanh hơn tới 4,4 lần trên phần cứng M3 Ultra khi mô hình xác thực nhiều token cùng lúc. Các thay đổi này do lập trình viên qvac đóng góp và được người bảo trì dự án ggerganov hợp nhất.
Nguồn chính
- SOURCE@qvac“On an M3 Ultra it now runs up to 3.4x faster than plain decoding, 110 tok/s against 32.1”x.com
- SOURCE@qvac“the fast Metal kernels from Monday now cover all 26 weight formats the Mac GPU runs”x.com
- SUPPORT@seraandroid“Merged to main in a few minutes!”x.com
- SOURCEmarketbrief.now