SteerDistill lượng tử hóa LLM agent qua hướng dẫn teacher vòng kín

Lượng tử hóa low-bit giúp giảm chi phí inference của LLM agent nhưng có thể làm giảm thành công nhiệm vụ. Qua việc xem xét các rollout thất bại, nhóm tác giả nhận thấy các agent đã lượng tử hóa bỏ qua yêu cầu nhiệm vụ hoặc điều kiện môi trường, tạo ra các chuyển đổi môi trường khác biệt so với các tham chiếu full-precision thành công. Việc sửa các sai lệch hành vi này vẫn khó khăn vì dữ liệu offline có thể thiếu ngữ cảnh thất bại của student, trong khi các rollout của chính nó chỉ đưa ra ít phản hồi đúng trong các ngữ cảnh đó. Nhóm tác giả giới thiệu SteerDistill, một phương pháp chưng cất nhận biết lượng tử hóa, trong đó một teacher full-precision hướng dẫn student sửa các phản hồi thất bại và lặp lại tinh chỉnh hướng dẫn bằng phản hồi từ việc thực thi của student. Hướng dẫn teacher vòng kín này tạo ra các điều chỉnh hành vi được xác minh cục bộ. Nhóm tác giả nội hóa các điều chỉnh này bằng cách huấn luyện student không có hướng dẫn để khớp với dự đoán của student đã được hướng dẫn tại các lượt đã sửa và của teacher full-precision tại các lượt khác, cho phép inference không cần hỗ trợ. Trên năm benchmark agentic và ba model, SteerDistill vượt trội hơn baseline lượng tử hóa mạnh nhất từ 1,67 đến 2,18 điểm trung bình dưới W4A16 và nằm trong vòng một điểm so với BF16.