Research04.09.2026 · 23:532 nguồn

Unsloth tăng tốc độ GLM-5.3-Flash 3.3x cho ngữ cảnh dài

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Suất suy diễn GGUF địa phương hiện nhanh hơn từ 1.6 đến 3.4 lần nhờ các kỹ thuật giải mã tối ưu và dự báo đa token do Unsloth phát hành. Bản cập nhật cho phép định lượng 3-bit chạy trên phần cứng 128GB thông qua llama.cpp hoặc ứng dụng Unsloth Desktop để giảm độ trễ trên thiết bị.

Tốc độ tăng lên tối đa 3.3 lần cho độ dài ngữ cảnh dài trong cửa sổ 1 million-token của mô hình GLM-5.3-Flash. Mô hình đa hình ảnh 320B-A18B được cung cấp theo giấy phép MIT và trước đó được trình diễn dưới tên Ox Alpha chạy trên chip AI Trung Quốc.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@zixuanli_“Local GGUF inference is now up to 3.3× faster at long context lengths”x.com
#unsloth#inference#llm#open-source#fine-tuningBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhờ các kỹ thuật tối ưu hóa decoding và multi-token prediction mới từ Unsloth, tốc độ inf…
    Suất suy diễn GGUF địa phương hiện nhanh hơn từ 1.6 đến 3.4 lần nhờ các kỹ thuật giải mã …
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    Unsloth giúp tăng tốc GLM-5.3-Flash lên 3,3 lần khi chạy local với context dài
    Unsloth tăng tốc độ GLM-5.3-Flash 3.3x cho ngữ cảnh dài

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay