---
format: "aidr-story-markdown/v1"
id: "e664233dc8d06845133dfbad0ed4072c1d92276f9f6a7a1b3bb908b3c1102137"
canonical_url: "https://aidr.today/e664233d?lang=vi"
title: "Quantize, Qualify, Rerank: Công thức nén LLMs mà không làm giảm chất lượng"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-17T05:00:00.000Z"
category: "Research"
topics: ["google","llm"]
source_urls: ["https://arxiv.org/abs/2611.18587"]
summary: "Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc sụt giảm chất lượng. Đối với nhánh hạn chế của WMT26 Model Compression, nhóm tác giả nén gemma-3-12b-it (24,4 GB ở định dạng bf16) cho ba hướng dịch thuật trên một GPU H100. Phân tích paired bootstrap cho thấy sự không thống nhất giữa các chỉ số khi quantization 4-bit; dựa trên đánh giá meta từ con người của WMT24, nhóm tác giả dùng MetricX24-XXL làm chỉ số chính và CometKiwi-XXL để đối chiếu. Việc loại bỏ stack thị giác không dùng đến, loại bỏ từ vựng không phục vụ tác vụ, đồng thời dùng trọng số int8 hoặc activation fp8 không gây ra tổn thất đáng kể, trong khi int4 để lại một lượng dư nhỏ. Việc dùng QLoRA để khắc phục lại gây ra hiện tượng overfitting trên miền hiệu chuẩn. Một bộ reranker Cometoid best-of-4 ở mức T=0,3 giúp cải thiện cả hệ thống 8-bit và 4-bit trên tập kiểm tra WMT25. Trên kết quả WMT26 sau khi nộp bài, cả hai hệ thống vẫn duy trì khả năng cạnh tranh với bf16 theo các chỉ số không cần tham chiếu; sự khác biệt nhỏ giữa các biến thể reranked được coi là nhiễu."
---

# Quantize, Qualify, Rerank: Công thức nén LLMs mà không làm giảm chất lượng

> [Open the canonical story](<https://aidr.today/e664233d?lang=vi>)

**Published:** 2026-11-17T05:00:00.000Z
**Category:** Research
**Topics:** google, llm

## Summary

Nén LLMs giúp giảm chi phí vận hành, nhưng một chỉ số tự động duy nhất có thể bỏ sót việc sụt giảm chất lượng\. Đối với nhánh hạn chế của WMT26 Model Compression, nhóm tác giả nén gemma\-3\-12b\-it \(24,4 GB ở định dạng bf16\) cho ba hướng dịch thuật trên một GPU H100\. Phân tích paired bootstrap cho thấy sự không thống nhất giữa các chỉ số khi quantization 4\-bit; dựa trên đánh giá meta từ con người của WMT24, nhóm tác giả dùng MetricX24\-XXL làm chỉ số chính và CometKiwi\-XXL để đối chiếu\. Việc loại bỏ stack thị giác không dùng đến, loại bỏ từ vựng không phục vụ tác vụ, đồng thời dùng trọng số int8 hoặc activation fp8 không gây ra tổn thất đáng kể, trong khi int4 để lại một lượng dư nhỏ\. Việc dùng QLoRA để khắc phục lại gây ra hiện tượng overfitting trên miền hiệu chuẩn\. Một bộ reranker Cometoid best\-of\-4 ở mức T\=0,3 giúp cải thiện cả hệ thống 8\-bit và 4\-bit trên tập kiểm tra WMT25\. Trên kết quả WMT26 sau khi nộp bài, cả hai hệ thống vẫn duy trì khả năng cạnh tranh với bf16 theo các chỉ số không cần tham chiếu; sự khác biệt nhỏ giữa các biến thể reranked được coi là nhiễu\.

## Sources

- [Story source](<https://arxiv.org/abs/2611.18587>)

