Infra27.09.2026 · 02:57
llama.cpp tăng tốc tra cứu prompt khi drafting
Từ jadidbourbaki.github.io
Bốn thay đổi trên bộ nhớ đệm n-gram của llama.cpp giúp drafting nhanh hơn tới 41,6 lần, tải cache tĩnh nhanh hơn 23,5 lần, và giảm bộ nhớ đỉnh tới 2,65 lần.
Đọc bài gốcĐăng nhập để góp ý
Nguồn
+ 1 nguồn khác
- THẢO LUẬNpptadversarynews.ycombinator.com
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay