---
format: "aidr-story-markdown/v1"
id: "7932e50f9a950e28db742b8db5ff91e9a7aba49641f2323698774a5836da100a"
canonical_url: "https://aidr.today/7932e50f?lang=vi"
title: "Llama.cpp tăng tốc speculative decoding trên Mac lên gấp 3,4 lần cho M3 Ultra"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-10-10T17:08:31.000Z"
category: "Open Source"
topics: ["meta","inference","open-source"]
source_urls: ["https://huggingnews.com/ai/llamacpp-speeds-mac-speculative-decoding-34x-for-m3-ultra-9e14a5c5","https://x.com/qvac/status/2107043339799593421","https://x.com/qvac/status/2107924001939235207","https://x.com/SeraAndroid/status/2108963506682810506","https://marketbrief.now/ai/llamacpp-speeds-mac-speculative-decoding-34x-for-m3-ultra-9e14a5c5"]
summary: "Các tối ưu hóa GPU mới được đưa vào thư viện llama.cpp giúp tăng mạnh hiệu quả sinh token trên phần cứng Apple. Những cập nhật này cho phép speculative decoding chạy ở tốc độ 110 tok/s trên M3 Ultra so với 32.1 tok/s của giải mã thông thường, đạt mức tăng tốc gấp 3,4 lần. Qua đó, thư viện đã đảo ngược tình trạng chậm trước đây khi phương pháp dự đoán chạy chậm hơn cách thực thi tiêu chuẩn. Một bản cập nhật sau đó đã mở rộng các Metal kernel này để phủ kín toàn bộ 26 định dạng trọng lượng được GPU Mac hỗ trợ, bao gồm BF16 và MXFP4. Việc mở rộng này giúp các phép nhân ma trận chạy nhanh hơn tới 4,4 lần trên phần cứng M3 Ultra khi mô hình xác thực nhiều token cùng lúc. Các thay đổi này do lập trình viên qvac đóng góp và được người bảo trì dự án ggerganov hợp nhất."
---

# Llama\.cpp tăng tốc speculative decoding trên Mac lên gấp 3,4 lần cho M3 Ultra

> [Open the canonical story](<https://aidr.today/7932e50f?lang=vi>)

**Published:** 2026-10-10T17:08:31.000Z
**Category:** Open Source
**Topics:** meta, inference, open\-source

## Summary

Các tối ưu hóa GPU mới được đưa vào thư viện llama\.cpp giúp tăng mạnh hiệu quả sinh token trên phần cứng Apple\. Những cập nhật này cho phép speculative decoding chạy ở tốc độ 110 tok/s trên M3 Ultra so với 32\.1 tok/s của giải mã thông thường, đạt mức tăng tốc gấp 3,4 lần\. Qua đó, thư viện đã đảo ngược tình trạng chậm trước đây khi phương pháp dự đoán chạy chậm hơn cách thực thi tiêu chuẩn\. Một bản cập nhật sau đó đã mở rộng các Metal kernel này để phủ kín toàn bộ 26 định dạng trọng lượng được GPU Mac hỗ trợ, bao gồm BF16 và MXFP4\. Việc mở rộng này giúp các phép nhân ma trận chạy nhanh hơn tới 4,4 lần trên phần cứng M3 Ultra khi mô hình xác thực nhiều token cùng lúc\. Các thay đổi này do lập trình viên qvac đóng góp và được người bảo trì dự án ggerganov hợp nhất\.

## Sources

- [Story source](<https://huggingnews.com/ai/llamacpp-speeds-mac-speculative-decoding-34x-for-m3-ultra-9e14a5c5>)
- [Story source](<https://x.com/qvac/status/2107043339799593421>)
- [Story source](<https://x.com/qvac/status/2107924001939235207>)
- [Supporting source](<https://x.com/SeraAndroid/status/2108963506682810506>)
- [Story source](<https://marketbrief.now/ai/llamacpp-speeds-mac-speculative-decoding-34x-for-m3-ultra-9e14a5c5>)