MBZUAI ra mắt K2 Horizon 375B, đợt phát hành mô hình AI mã nguồn mở lớn nhất

Viện Foundation Models vừa phát hành bộ sáu mô hình nền tảng đi kèm đầy đủ mã nguồn huấn luyện, công thức dữ liệu và checkpoint. Mô hình chủ lực K2 Horizon 375B sử dụng kiến trúc Mixture-of-Experts với 23 tỷ tham số hoạt động và context window lên tới 512K token. Trên Artificial Analysis Intelligence Index, mô hình này đạt 47 điểm, tăng mạnh 30 điểm so với phiên bản K2 Think V2 70 tỷ tham số trước đó.

Dòng mô hình này còn có các phiên bản nhỏ hơn, từ 0,9 tỷ đến 36 tỷ tham số, giúp dễ dàng chạy local trên các thiết bị như đồng hồ thông minh hay điện thoại. Đáng chú ý, phiên bản 375B đã giảm tỷ lệ hallucination từ 71% xuống còn 26% nhờ việc từ chối trả lời 60% câu hỏi trên benchmark AA-Omniscience. Hiện SGLang đã hỗ trợ ngay lập tức cho toàn bộ bộ mô hình này.