Frameworks17.11.2026 · 03:251 nguồn
Echelon Optimizer của Evolvymachines giúp tăng tốc các bước AI training lên tới 10,5 lần
Từ marketbrief.now
Công cụ Echelon vừa được ra mắt nhằm giải quyết chi phí cao khi mở rộng các mạng thần kinh lớn bằng cách cải thiện hiệu suất tối ưu hóa ma trận trong quá trình training. Được phát triển bởi Evolvymachines, thuật toán này là một công thức dựa trên rank của optimizer Muon, thực hiện trực giao hóa chỉ phần subspace hàng đầu trong thời gian $O(mnr)$, cho phép hoàn thành các bước optimizer nhanh hơn tới 10,5 lần so với Muon trong khi vẫn duy trì mức loss tương đương trên các mô hình có 1,3 tỷ tham số.
Optimizer này được triển khai bằng Triton kernel 6-pass và sử dụng năm bước Newton-Schulz kết hợp với một khung warm-started. Cùng với phần mềm, nhóm tác giả cũng công bố bằng chứng về sự tương đương giữa Echelon và Muon, cũng như bằng chứng hội tụ đầu tiên cho spectral steepest descent đã được xác minh bằng trình chứng minh định lý Lean.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay