Thứ Sáu, 4 thg 9, 2026

Nhờ các kỹ thuật tối ưu hóa decoding và multi-token prediction mới từ Unsloth, tốc độ inference định dạng GGUF tại chỗ hiện nhanh hơn từ 1,6 đến 3,4 lần. Bản cập nhật này tập trung cải thiện hiệu suất cho các tác vụ xử lý ngữ cảnh dài.

Đăng nhập để góp ý, chỉnh sửa