---
format: "aidr-story-markdown/v1"
id: "59f3fbc1eb65bcf8ecc09b5b0e4cd2cbb6e6660c86c5a9cbe4a60085aa01e8a6"
canonical_url: "https://aidr.today/59f3fbc1?lang=vi"
title: "Q Labs huấn luyện Transformers nhanh 4.000 lần mà không cần backpropagation"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-10-22T21:39:14.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingnews.com/ai/q-labs-pretrains-transformers-4000x-faster-without-backpropagation-eeeaf782","https://marketbrief.now/ai/q-labs-pretrains-transformers-4000x-faster-without-backpropagation-eeeaf782","https://x.com/industriaalist/status/2113365351455219760","https://x.com/spicey_lemonade/status/2113525694521344096","https://huggingnews.com/ai/q-labs-scales-backprop-free-ai-to-243m-and-beats-adam-08b2657a","https://marketbrief.now/ai/q-labs-scales-backprop-free-ai-to-243m-and-beats-adam-08b2657a"]
summary: "Một nhóm nghiên cứu do Q Labs dẫn dắt đã tìm ra cách huấn luyện AI transformers bằng tối ưu hóa bậc không (zeroth-order optimization) thay vì phương pháp backpropagation truyền thống. Bằng một quy trình gọi là Noise speedrun, nhóm đã rút ngắn thời gian để đạt được mục tiêu validation-loss cố định từ 1,76 giờ xuống còn 1,6 giây chỉ trong 10 ngày, tức là tăng tốc 4.000 lần. Thuật toán Dust của phòng thí nghiệm hiện vượt trội so với sự kết hợp truyền thống giữa backpropagation và Adam về validation-loss và tiết kiệm tính toán đến 10.000 lần so với các phương pháp bậc không hàng đầu trước đây. Nhóm hiện đang kiểm tra xem những lợi thế về hiệu quả này có thể mở rộng đến các mô hình lớn hơn bằng cách tăng bộ dữ liệu huấn luyện từ 10M lên 30M token để xác định các kỹ thuật tăng tốc nào thất bại trong quá trình overfitting. Một trong những người đóng góp cho biết bước đột phá này được lấy cảm hứng từ một blog an toàn. Các cập nhật thêm về khía mạc mở rộng sẽ được công bố trong vài tuần tới."
---

# Q Labs huấn luyện Transformers nhanh 4\.000 lần mà không cần backpropagation

> [Open the canonical story](<https://aidr.today/59f3fbc1?lang=vi>)

**Published:** 2026-10-22T21:39:14.000Z
**Category:** Research
**Topics:** llm

## Summary

Một nhóm nghiên cứu do Q Labs dẫn dắt đã tìm ra cách huấn luyện AI transformers bằng tối ưu hóa bậc không \(zeroth\-order optimization\) thay vì phương pháp backpropagation truyền thống\. Bằng một quy trình gọi là Noise speedrun, nhóm đã rút ngắn thời gian để đạt được mục tiêu validation\-loss cố định từ 1,76 giờ xuống còn 1,6 giây chỉ trong 10 ngày, tức là tăng tốc 4\.000 lần\. Thuật toán Dust của phòng thí nghiệm hiện vượt trội so với sự kết hợp truyền thống giữa backpropagation và Adam về validation\-loss và tiết kiệm tính toán đến 10\.000 lần so với các phương pháp bậc không hàng đầu trước đây\. Nhóm hiện đang kiểm tra xem những lợi thế về hiệu quả này có thể mở rộng đến các mô hình lớn hơn bằng cách tăng bộ dữ liệu huấn luyện từ 10M lên 30M token để xác định các kỹ thuật tăng tốc nào thất bại trong quá trình overfitting\. Một trong những người đóng góp cho biết bước đột phá này được lấy cảm hứng từ một blog an toàn\. Các cập nhật thêm về khía mạc mở rộng sẽ được công bố trong vài tuần tới\.

## Sources

- [Story source](<https://huggingnews.com/ai/q-labs-pretrains-transformers-4000x-faster-without-backpropagation-eeeaf782>)
- [Story source](<https://marketbrief.now/ai/q-labs-pretrains-transformers-4000x-faster-without-backpropagation-eeeaf782>)
- [Story source](<https://x.com/industriaalist/status/2113365351455219760>)
- [Supporting source](<https://x.com/spicey_lemonade/status/2113525694521344096>)
- [Story source](<https://huggingnews.com/ai/q-labs-scales-backprop-free-ai-to-243m-and-beats-adam-08b2657a>)
- [Story source](<https://marketbrief.now/ai/q-labs-scales-backprop-free-ai-to-243m-and-beats-adam-08b2657a>)