Sao chép xác nhận nghiên cứu chỉnh sửa trọng số của MIT khi tác giả làm rõ sửa lỗi vòng lặp

Một nghiên cứu sao chép độc lập của nhà nghiên cứu Alex Krentsel đã xác nhận kết quả lập trình không gian trọng số của MIT CSAIL và phát hiện rằng khả năng viết các trọng số mạng neural chức năng từ đầu chỉ xuất hiện ở thế hệ mới nhất của frontier model, như GPT-6 Astra và Claude Opus 5.5. Trong các bài kiểm tra đó, các mô hình mới nhất đã tạo ra các mạng chơi trò Atari Breakout mà không cần huấn luyện hay công cụ, đạt điểm cao gấp 22 lần baseline được huấn luyện bằng RL. Tác giả chính của MIT Rikiya Takehi cũng phát hành mô hình Qwen3.5-0.8B đã chỉnh sửa trên Hugging Face Hub sau khi nó được xây dựng lại từ các log đã công bố và đạt 51.0% khi chạy lại MATH-500. Đồng tác giả Alex Zhang của MIT làm rõ rằng GPT-6 Astra không chỉnh sửa trực tiếp các kỹ năng toán mới vào Qwen3.5-0.8B, mô hình ban đầu đạt 7.9% trên MATH-500 trước khi tăng lên 48.1% trong bài báo và nhảy từ 21.0% lên 62.3% về tuân theo hướng dẫn. Thay vào đó, một prompt được tối ưu hóa bằng LLM chứa các gợi ý để kiểm tra các vòng lặp suy luận lặp lại, một lỗi được ghi nhận trong model card của Qwen. Với 50 batch forward-pass, Astra đã viết code dùng activation steering để triệt tiêu tín hiệu lặp trong 131.000 trọng số ở các layer 15 và 19, tương đương 0.016% của mô hình 800M tham số.