Infra29.09.2026 · 06:141 nguồn

Deven Pzak rút ngắn tốc độ NanoGPT xuống 39,9 giây từ 67,6 giây

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Sự dịch chuyển sang tối ưu hóa cấp độ flop cá nhân đã vượt qua điểm nghẽn hiệu suất trong benchmark huấn luyện NanoGPT. Lập trình viên Deven Pzak giảm thời gian huấn luyện mô hình xuống 39,9 giây, rút bớt 27,7 giây so với mốc cũ 67,6 giây nhờ áp dụng mô hình kỹ thuật tối ưu theo flop. Cách tiếp cận này dùng hàm softmax lấy mẫu để bỏ qua các token không có trong batch cùng bộ tối ưu Anvil2 mở rộng từ muon thông qua bộ đệm momentum thứ hai được theo dõi.

Để đạt tốc độ này, Pzak nâng quy mô bảng n-gram từ 640M lên 65B tham số, thay đổi đóng góp 25% tổng mức tăng trưởng. Quá trình chạy trên 8xH100 GPU cho thấy tham số mô hình có thể tăng tùy ý nếu tốn ít flop một cách có chọn lọc. Các cải tiến này bao gồm việc dùng các bản cập nhật thưa và giao tiếp thưa để giảm thiểu lượng dữ liệu truyền qua các GPU trong mỗi bước.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown
Lịch sử nội dung (2)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Deven Pzak đã cải tiến tốc độ chạy của NanoGPT, giảm thờy gian từ 67,6 giây xuống còn 39,…
    Sự dịch chuyển sang tối ưu hóa cấp độ flop cá nhân đã vượt qua điểm nghẽn hiệu suất trong…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Deven Pzak rút ngắn thời gian chạy NanoGPT còn 39,9 giây, từ 67,6 giây
    Deven Pzak rút ngắn tốc độ NanoGPT xuống 39,9 giây từ 67,6 giây

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay