SoloQ: Quantization không cần hiệu chuẩn cho Diffusion Language Models

Các mô hình ngôn ngữ lớn lan tỏa (dLLMs) đã xuất hiện như một lựa chọn thay thế hứa hẹn so với các mô hình ngôn ngữ tự động sinh thông qua việc sinh token dựa trên lan tỏa hai chiều. Tuy nhiên, kích thước mô hình ngày càng lớn và chi phí suy diễn cao khiến triển khai hiệu quả trở nên thách thức: việc khử nhiễu toàn bộ trình tự liên tục gọi các lượt tính toán nặng, trong khi các mô hình lan tỏa khối lượng thì thêm vào đó bộ nhớ KV-cache cũng nặng nề. Do đó, việc lượận hoá trọng số kích hoạt số bit thấp là rất hấp dẫn, nhưng các phương pháp lượận hoá hậu huấn luyện dLLM hiện có vẫn phụ thuộc vào dữ liệu hiệu chuẩn dù phân phối kích hoạt thay đổi qua các trạng thái mặc định và các bước khử nhiễu. Chúng tôi trình bày SoloQ, một khung lượận hoá không cần dữ liệu hiệu chuẩn ánh xạ trọng số và kích hoạt vào một cơ sở quay chuẩn hóa với phân phối biên dự đoán được, cho phép lượận hoá độc lập dữ liệu. SoloQ kết hợp một phép quay K-RPBH có cấu trúc với một bản chỉnh tỉ lệ nhẹ nhàng để thực hiện lượận hoá không cần dữ liệu hiệu chuẩn. Phân phối sau quay của nó hỗ trợ cả các bộ mã phù hợp phân phối và NVFP4 bản địa phần cứng.