Research22.08.2026 · 06:495 nguồn

Marin bắt đầu huấn luyện mô hình AI 535B trên 18,75T token trong vòng chạy mở lớn nhất

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Đội ngũ Marin đã bắt đầu huấn luyện mô hình ngôn ngữ lớn 535B-A23B của họ vào tuần này bằng cách sử dụng 11 cụm GB200 NVL72. Quá trình này bao gồm pretraining chiếm 80% và midtraining chiếm 20% của một bộ dữ liệu 18,75T token trong khoảng 3 tháng, với tổng yêu cầu tính toán là 2,7e24 FLOPs.

Sáng kiến này cung cấp truy cập công cộng đến phần misture huấn luyện, tài liệu mẫu và loss huấn luyện trực tuyến thông qua WandB và GitHub. Để dự báo vòng chạy cuối cùng, nhóm trước đó đã huấn luyện một thang máy từ 1,6B đến 27,7B tham số. Huấn luyện hậu mô hình sẽ bắt đầu sau giai đoạn tính toán ban đầu.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 4 nguồn khác
  1. SUPPORT@percyliang“we can also forecast the loss of intermediate checkpoints, so we can see if we’re on track over the voyage”x.com
  2. SUPPORT@percyliang“Assembling this hero run really required data, architecture, infra, kernels to all come together and was a huge joint effort”x.com
  3. SUPPORT@eliebakouch“you can visualize the exact pre training mixture per domain, look at sampled documents, follow the live training loss”x.com
  4. SUPPORT@natolambert“I'm excited to get to work with the community post-training this model!”x.com
#llm#training#chipsBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Tuần này, đội ngũ Marin đã bắt đầu huấn luyện mô hình LLM 535B-A23B bằng các cụm 11 GB200…
    Đội ngũ Marin đã bắt đầu huấn luyện mô hình ngôn ngữ lớn 535B-A23B của họ vào tuần này bằ…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    Marin bắt đầu huấn luyện mô hình AI 535B trên 18,75 nghìn tỷ token trong đợt chạy mã nguồ…
    Marin bắt đầu huấn luyện mô hình AI 535B trên 18,75T token trong vòng chạy mở lớn nhất

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay