Dust: huấn luyện transformer không cần backpropagation

Samip Dahal, Bishwas Mandal, Serdar Gülbahar và Akshay Vegesna (tháng 10 năm 2026, thư từ liên hệ: s@qlabs.sh, có kèm mã nguồn và trích dẫn). Học sâu từ lâu gắn liền với backprop, thuật toán phân bổ tín dụng duy nhất đủ sức huấn luyện mạng neural hiện đại, trong đó có các language model dạng transformer. Backprop đòi hỏi tính khả vi và tạo ra gradient bậc nhất. Kiến trúc, bộ tối ưu hóa và phần cứng của học sâu đều phát triển xung quanh ràng buộc này. Tuy nhiên, khi lượng tính toán trên thế giới gia tăng, chúng ta có thể ưu tiên các thuật toán học tổng quát và mang tính vét cạn hơn, dựa trên việc tìm kiếm thay vì các thiên kiến quy nạp như tính khả vi, backprop hay các phương pháp xấp xỉ gradient bậc cao. Bài học cay đắng (Sutton, 2019, Richard S. Sutton, The bitter lesson, http://www.incompleteideas.net/IncIdeas/BitterLesson.html, 2019, bài đăng blog) chỉ ra rằng các phương pháp tổng quát mở rộng quy mô theo năng lực tính toán cuối cùng sẽ chiến thắng, và AlphaGo Zero (Silver và cộng sự, 2017, David Silver, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, Yutian Chen, Timothy Lillicrap, Fan Hui, Laurent Sifre, George van den Driessche, Thore Graepel, và Demis Hassabis, Mastering the game of Go without human knowledge, Nature, 550 (7676): 354–359, 2017, doi: 10.1038/nature24270) là ví dụ hiển nhiên nhất. Việc khởi động AlphaGo bằng dữ liệu con người giúp mạng học nhanh hơn ở giai đoạn đầu, nhưng khi có nguồn lực tính toán khổng lồ, mạng hoàn toàn tự đấu đã vượt qua nó.