Research04.09.2026 · 23:532 nguồn
Unsloth tăng tốc độ GLM-5.3-Flash 3.3x cho ngữ cảnh dài
Từ huggingnews.com
Suất suy diễn GGUF địa phương hiện nhanh hơn từ 1.6 đến 3.4 lần nhờ các kỹ thuật giải mã tối ưu và dự báo đa token do Unsloth phát hành. Bản cập nhật cho phép định lượng 3-bit chạy trên phần cứng 128GB thông qua llama.cpp hoặc ứng dụng Unsloth Desktop để giảm độ trễ trên thiết bị.
Tốc độ tăng lên tối đa 3.3 lần cho độ dài ngữ cảnh dài trong cửa sổ 1 million-token của mô hình GLM-5.3-Flash. Mô hình đa hình ảnh 320B-A18B được cung cấp theo giấy phép MIT và trước đó được trình diễn dưới tên Ox Alpha chạy trên chip AI Trung Quốc.
Đọc bài gốcĐăng nhập để góp ý
Nguồn
+ 1 nguồn khác
- SUPPORT@zixuanli_“Local GGUF inference is now up to 3.3× faster at long context lengths”x.com
#unsloth#inference#llm#open-source#fine-tuningBản Markdown
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuNhờ các kỹ thuật tối ưu hóa decoding và multi-token prediction mới từ Unsloth, tốc độ inf…Suất suy diễn GGUF địa phương hiện nhanh hơn từ 1.6 đến 3.4 lần nhờ các kỹ thuật giải mã …
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuUnsloth giúp tăng tốc GLM-5.3-Flash lên 3,3 lần khi chạy local với context dàiUnsloth tăng tốc độ GLM-5.3-Flash 3.3x cho ngữ cảnh dài
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay