Mô hình mở Mochi 535B của Marin hoàn thành huấn luyện sơ bộ trên 18T token

Nhóm phát triển mô hình Mochi nguồn mở đã hoàn thành giai đoạn huấn luyện ban đầu cho mô hình ngôn ngữ lớn mới nhất, mở đường cho bước tối ưu hóa cuối cùng. Mô hình Mochi 535B-A23B đã xử lý 18T token trong giai đoạn pretraining chính và bây giờ sẽ trải qua huấn luyện ngữ cảnh dài cùng fine-tune có giám sát (SFT) trước khi được công bố công chúng.

Đội ngũ Marin nhằm phát hành checkpoint của mô hình vào tuần tới, kể cả khi hoàn thành thủ tục quy định tại Liên minh Châu Âu. Dự án này là một phần của sáng kiến tham vọng sản xuất các mô hình LLMs quy mô lớn mở có thể cạnh tranh với các hệ thống độc quyền, với sự hỗ trợ của những gì các nhà phát triển gọi là một "hero run" để đạt đến trạng thái pretraining hoàn chỉnh.