Research17.11.2026 · 12:001 nguồn
Quantize, Qualify, Rerank: Công thức nén LLMs mà không làm giảm chất lượng
Từ arxiv.org
Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc sụt giảm chất lượng. Đối với nhánh hạn chế của WMT26 Model Compression, nhóm tác giả nén gemma-3-12b-it (24,4 GB ở định dạng bf16) cho ba hướng dịch thuật trên một GPU H100. Phân tích paired bootstrap cho thấy sự không thống nhất giữa các chỉ số khi quantization 4-bit; dựa trên đánh giá meta từ con người của WMT24, nhóm tác giả dùng MetricX24-XXL làm chỉ số chính và CometKiwi-XXL để đối chiếu. Việc loại bỏ stack thị giác không dùng đến, loại bỏ từ vựng không phục vụ tác vụ, đồng thời dùng trọng số int8 hoặc activation fp8 không gây ra tổn thất đáng kể, trong khi int4 để lại một lượng dư nhỏ. Việc dùng QLoRA để khắc phục lại gây ra hiện tượng overfitting trên miền hiệu chuẩn. Một bộ reranker Cometoid best-of-4 ở mức T=0,3 giúp cải thiện cả hệ thống 8-bit và 4-bit trên tập kiểm tra WMT25. Trên kết quả WMT26 sau khi nộp bài, cả hai hệ thống vẫn duy trì khả năng cạnh tranh với bf16 theo các chỉ số không cần tham chiếu; sự khác biệt nhỏ giữa các biến thể reranked được coi là nhiễu.
Nguồn
Lịch sử nội dung (1)
- 2026-11-17 · Tóm tắt · vi · Thay nội dung đã lưuNhóm tác giả đề xuất một quy trình gồm quantize, qualify và rerank để nén các LLMs mà vẫn…Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc…
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay