Apple nâng điểm AIME của Looped Transformer lên 73,3 nhờ LoopCD

Một đội ngũ nghiên cứu tại Apple đã giới thiệu phương pháp tối ưu hóa các mô hình AI trong quá trình decoding để tăng độ chính xác mà không cần huấn luyện thêm. Phương pháp này, được gọi là LoopCD, đã nâng điểm trên benchmark AIME 2024 cho mô hình Ouro-2.6B từ 61,9 lên 73,3 và cải thiện kết quả HumanEval cho mô hình Huginn từ 22,6 lên 31,7. Những cải tiến này đạt được thông qua tối ưu hóa thời gian inference mà không cần thêm các mô hình bổ sung. Việc công bố bài báo có tiêu đề "Decoding Looped Transformers Better for (Almost) Free" diễn ra giữa những đồn đoán rằng các frontier model bao gồm Gemini 4 và GPT-6 Astra đang sử dụng kiến trúc looped transformer. Nghiên cứu của Apple MLR chứng minh rằng các cấu trúc đệ quy như vậy có thể được tăng cường mà không tốn chi phí tính toán để huấn luyện lại.