Marin bắt đầu huấn luyện mô hình AI 535B trên 18,75 nghìn tỷ token trong đợt chạy mã nguồn mở lớn nhất

Tuần này, đội ngũ Marin đã bắt đầu huấn luyện mô hình LLM 535B-A23B bằng các cụm 11 GB200 NVL72. Quy trình này bao gồm giai đoạn pretraining chiếm 80% và midtraining...