Artifact Distillation: chuyển giao không cần huấn luyện từ mô hình frontier sang mô hình ngôn ngữ nhỏ

Việc thu hẹp khoảng cách giữa các mô hình ngôn ngữ frontier và nhỏ thường được tiếp cận thông qua distillation: fine-tune mô hình nhỏ (student) trên các đầu ra của mô hình frontier (teacher), điều này ràng buộc quá trình chuyển giao vào compute huấn luyện và để kiến thức được chuyển giao phần lớn mờ đục. Chúng tôi đề xuất Artifact Distillation: một teacher giải quyết các trường hợp huấn luyện và bên ngoại hóa quy trình giải quyết vấn đề của nó vào một ngân hàng artifact mà student truy vấn vào thời gian inference, mà không cần cập nhật gradient. Trên bốn tác vụ LiveBench, một ngân hàng được viết bởi Claude Opus 4.5 cho phép Claude Haiku 4.5 vượt trội so với Claude Sonnet 4.5 chưa được hỗ trợ trên suy luận không gian (0.707 so với 0.647) với 60% chi phí của nó, và đạt đến mức độ của Sonnet 4.5 trên việc kết nối bảng ở 89% chi phí của nó. Cùng một ngân hàng nguyên liệu, điểm số tổng hợp của Qwen3.5-27B tăng từ 0.730 lên 0.800, cho thấy rằng sự chuyển giao không bị giới hạn trong model family của teacher.