← Về trang chính1 tin
Robert Lange đạt validation loss 3,5 trên benchmark FineWeb-30M zero-order optimization trong 7,9 phút bằng một node 8xH100 duy nhất. Vòng huấn luyện này, không có backpropagation, nhanh hơn 12,9 lần so với kỷ lục trước là 102,5 phút do Noise speedrun thiết lập.
Tốc độ này đạt được nhờ CUDA graphs, fused kernels và một Cut estimator được điều chỉnh để giảm chi phí thăm dò. Điều này tiếp nối những bước đột phá gần đây trong tối ưu thứ cấp không có thứ tự, bao gồm hiệu suất của thuật toán Dust trên các mô hình lên đến 243M tham số và các phương pháp cộng đồng đạt validation loss 3,409 trên track 30M token, vượt qua loss 3,419 của cách tiếp cận backprop và Adam chuẩn.
Đăng nhập để góp ý
Nguồn chính
- SOURCE@roberttlange“val loss 3.5 with no backprop in 7.9 min on one 8×H100 node, down from Noise's 102.5 min (×12.9)”x.com
- SOURCE@industriaalist“the time to pretrain a transformer went from 1.76 hours to 1.6 seconds, a 4,000x (!!!) speedup”x.com
- SUPPORT@spicey_lemonade“on scale, Dust tested this directly and found bigger models were more population-efficient, up to 243M”x.com
- SUPPORT@francoischauba1“making ZO work at scale requires changing the architecture to think in ensembles vs one giant monolith”x.com
- SUPPORT@zhengyaojiang“As the cost of hill climbing goes down, exploring a new idea can become much cheaper”x.com
- SOURCEmarketbrief.now