Mô hình 535B của Marin theo dõi mất mát trong 0.3% trong vòng chạy lớn nhất công khai

Một mạng nơơron siêu tham số mới đang thực hiện một hành trình huấn luyện công khai để kiểm tra tính khả thi của các luật tỷ lệ AI. Marin đã dành 43 ngày để huấn luyện mô hình trên 18 nghìn tỷ token, áp dụng một bậc thang tỷ lệ đã được đăng ký công khai trước để dự báo mất mát đánh giá trong suốt quá trình.

Mô hình Mixture of Experts với 535 tỷ tham số đang theo dõi mất mát trong vòng 0.3% so với dự báo dù phải ngoại suy 300 lần, với vòng chạy hiện đã hoàn thành một nửa. Quy mô dự án đã tăng từ kế hoạch gốc 360 tỷ tham số sau khi nhà phát triển ravwojdyla sử dụng các kernel tùy chỉnh để cải thiện hiệu suất phần cứng và thông lượng token.