---
format: "aidr-story-markdown/v1"
id: "82e16a5932f34a9929c93fced938ad4a7daa83eed6b8b7ebc9b3da6dfcd8cec9"
canonical_url: "https://aidr.today/82e16a59?lang=vi"
title: "Zero-Order Training đạt kỷ lục FineWeb-30M mới với vòng chạy 7,9 phút"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-10-24T18:09:33.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingnews.com/ai/update-zero-order-training-hits-new-fineweb-30m-record-with-79-minute-ru-36775dfd","https://x.com/RobertTLange/status/2113969523153854671","https://x.com/industriaalist/status/2113365351455219760","https://x.com/spicey_lemonade/status/2113525694521344096","https://x.com/FrancoisChauba1/status/2114003080551485472","https://x.com/zhengyaojiang/status/2113592326463312382","https://marketbrief.now/ai/update-zero-order-training-hits-new-fineweb-30m-record-with-79-minute-ru-36775dfd"]
summary: "Robert Lange đạt validation loss 3,5 trên benchmark FineWeb-30M zero-order optimization trong 7,9 phút bằng một node 8xH100 duy nhất. Vòng huấn luyện này, không có backpropagation, nhanh hơn 12,9 lần so với kỷ lục trước là 102,5 phút do Noise speedrun thiết lập. Tốc độ này đạt được nhờ CUDA graphs, fused kernels và một Cut estimator được điều chỉnh để giảm chi phí thăm dò. Điều này tiếp nối những bước đột phá gần đây trong tối ưu thứ cấp không có thứ tự, bao gồm hiệu suất của thuật toán Dust trên các mô hình lên đến 243M tham số và các phương pháp cộng đồng đạt validation loss 3,409 trên track 30M token, vượt qua loss 3,419 của cách tiếp cận backprop và Adam chuẩn."
---

# Zero\-Order Training đạt kỷ lục FineWeb\-30M mới với vòng chạy 7,9 phút

> [Open the canonical story](<https://aidr.today/82e16a59?lang=vi>)

**Published:** 2026-10-24T18:09:33.000Z
**Category:** Research
**Topics:** llm

## Summary

Robert Lange đạt validation loss 3,5 trên benchmark FineWeb\-30M zero\-order optimization trong 7,9 phút bằng một node 8xH100 duy nhất\. Vòng huấn luyện này, không có backpropagation, nhanh hơn 12,9 lần so với kỷ lục trước là 102,5 phút do Noise speedrun thiết lập\. Tốc độ này đạt được nhờ CUDA graphs, fused kernels và một Cut estimator được điều chỉnh để giảm chi phí thăm dò\. Điều này tiếp nối những bước đột phá gần đây trong tối ưu thứ cấp không có thứ tự, bao gồm hiệu suất của thuật toán Dust trên các mô hình lên đến 243M tham số và các phương pháp cộng đồng đạt validation loss 3,409 trên track 30M token, vượt qua loss 3,419 của cách tiếp cận backprop và Adam chuẩn\.

## Sources

- [Story source](<https://huggingnews.com/ai/update-zero-order-training-hits-new-fineweb-30m-record-with-79-minute-ru-36775dfd>)
- [Story source](<https://x.com/RobertTLange/status/2113969523153854671>)
- [Story source](<https://x.com/industriaalist/status/2113365351455219760>)
- [Supporting source](<https://x.com/spicey_lemonade/status/2113525694521344096>)
- [Supporting source](<https://x.com/FrancoisChauba1/status/2114003080551485472>)
- [Supporting source](<https://x.com/zhengyaojiang/status/2113592326463312382>)
- [Story source](<https://marketbrief.now/ai/update-zero-order-training-hits-new-fineweb-30m-record-with-79-minute-ru-36775dfd>)