Frameworks19.11.2026 · 07:001 nguồn
QDA: Thiết kế quantization LLM vòng lặp kín với agent
Từ huggingface.co
Quantization sau huấn luyện là cách tiêu chuẩn để triển khai các LLM với chi phí thấp. Tuy nhiên, công thức quantization tốt nhất sẽ khác nhau tùy theo từng mô hình và độ chính xác. Do đó, các chuyên gia phải thiết kế lại cho mỗi mô hình mới, việc này vừa tốn thời gian vừa thường không đạt hiệu quả tối ưu. May mắn thay, một LLM agent có thể đảm nhận việc thiết kế này bằng cách tinh chỉnh công thức qua nhiều vòng xây dựng và đánh giá các ứng viên, nhờ đó càng nhiều vòng thì công thức càng tốt hơn. Tuy nhiên, việc đánh giá một reasoning model đã được quantization mất hàng chục GPU-hours, và việc kết hợp các phương pháp từ các kho mã nguồn khác nhau đồng nghĩa với việc phải chuyển đổi thủ công từng phương pháp sang kiến trúc mới. Chúng tôi giới thiệu QDA, một hệ thống mà trong đó một agent sẽ thiết kế công thức cho từng mô hình và độ chính xác. Để việc đánh giá diễn ra nhanh chóng, QDA chấm điểm mỗi ứng viên chỉ trong vài phút dựa trên KL divergence của đầu ra so với mô hình gốc trên các vết suy luận mà agent không hề thấy, đồng thời kiểm tra các ứng viên tiềm năng bằng các phản hồi dài để phát hiện các lỗi như lặp vòng. Để việc xây dựng diễn ra nhanh chóng, QDA cung cấp một thư viện các phương pháp PTQ công khai có khả năng tương thích với nhau và với các kiến trúc mô hình mới.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay