← Về trang chính1 tin
Thư viện Transformers của Hugging Face vừa bổ sung hỗ trợ chạy trực tiếp các file quant từ llama.cpp, cho phép tải mô hình đã lượng tử hóa mà không cần chuyển đổi định dạng. Nhờ đó, người dùng có thể tận dụng các bản quant phổ biến trong cộng đồng llama.cpp ngay trong pipeline của Transformers, tiết kiệm dung lượng lưu trữ và tăng tốc triển khai trên phần cứng hạn chế.
Đăng nhập để góp ý, chỉnh sửa
Nguồn chính
- SOURCEhuggingface.co
- SOURCEhuggingnewshuggingnews.com
- SOURCEmarketbrief.now
- SOURCEsimonwillison.net
- SOURCEsimonwillison.net