Google DeepMind dùng phương pháp Recirculation giúp Gemma 3 tăng 21% độ chính xác trên GSM8k mà không cần huấn luyện lại

Phương pháp Recirculation cho phép các mô hình transformer đưa các activation quay trở lại chính nó trong giai đoạn prefill, giúp mô hình hoạt động như một hệ thống động để theo dõi trạng thái niềm tin (belief states). Khi áp dụng cho dòng Gemma 3, biến thể thích ứng này giúp giảm 23% perplexity và tăng 21% độ chính xác trên benchmark GSM8k chỉ bằng cách giữ nguyên weights và tinh chỉnh nhẹ hyperparameter. Thay vì bị giới hạn số lần cập nhật trạng thái nội bộ theo số lớp như các transformer feedforward tiêu chuẩn — vốn thường phải dùng chain-of-thought để theo dõi trạng thái qua văn bản — Recirculation tạo ra cơ chế lặp ngay trong lúc inference để thay đổi kiến trúc mà không cần huấn luyện lại. Cách tiếp cận này đẩy phần tính toán tuần tự bổ sung sang giai đoạn prefill để giữ chi phí tạo văn bản không đổi.