Research17.11.2026 · 12:001 nguồn

Quantize, Qualify, Rerank: Công thức nén LLMs mà không làm giảm chất lượng

Từ arxiv.org

Ảnh: arxiv.org
AI;DR

Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc sụt giảm chất lượng. Đối với nhánh hạn chế của WMT26 Model Compression, nhóm tác giả nén gemma-3-12b-it (24,4 GB ở định dạng bf16) cho ba hướng dịch thuật trên một GPU H100. Phân tích paired bootstrap cho thấy sự không thống nhất giữa các chỉ số khi quantization 4-bit; dựa trên đánh giá meta từ con người của WMT24, nhóm tác giả dùng MetricX24-XXL làm chỉ số chính và CometKiwi-XXL để đối chiếu. Việc loại bỏ stack thị giác không dùng đến, loại bỏ từ vựng không phục vụ tác vụ, đồng thời dùng trọng số int8 hoặc activation fp8 không gây ra tổn thất đáng kể, trong khi int4 để lại một lượng dư nhỏ. Việc dùng QLoRA để khắc phục lại gây ra hiện tượng overfitting trên miền hiệu chuẩn. Một bộ reranker Cometoid best-of-4 ở mức T=0,3 giúp cải thiện cả hệ thống 8-bit và 4-bit trên tập kiểm tra WMT25. Trên kết quả WMT26 sau khi nộp bài, cả hai hệ thống vẫn duy trì khả năng cạnh tranh với bf16 theo các chỉ số không cần tham chiếu; sự khác biệt nhỏ giữa các biến thể reranked được coi là nhiễu.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#google#llmBản Markdown
Lịch sử nội dung (1)
  • 2026-11-17 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhóm tác giả đề xuất một quy trình gồm quantize, qualify và rerank để nén các LLMs mà vẫn…
    Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay