Thinking Machines phát hành open-weight cho mô hình Small Inkling 2

Thinking Machines Lab đã công bố open-weight cho mô hình Small Inkling 2 với 594B tham số trên Hugging Face theo giấy phép Apache 2.0 sau các bài kiểm tra an toàn bên ngoài, đồng thời bổ sung hỗ trợ serving và fine-tune trên Together AI và SGLang. SGLang cho phép serving ban đầu ở mức 576 token mỗi giây mỗi người dùng với batch size 1 trên chip Nvidia Vera Rubin và 123 token mỗi giây với batch size 192, cùng với reinforcement learning trên tám GPU Blackwell và tương thích với phần cứng Nvidia Hopper, AMD MI350X và MI355X, cùng Google TPU v7x. OpenCode cũng cung cấp miễn phí mô hình multimodal mixture-of-experts, sử dụng 17B active parameters và context window lên đến 1 triệu token, tại một số khu vực trong thời gian giới hạn. Việc phát hành weight này diễn ra sau lần ra mắt trên nền tảng Tinker của Thinking Machines tuần trước, nơi Inkling 2 Small dẫn đầu các mô hình open-weight được đánh giá bởi ARC Prize với điểm 81,7% trên ARC-AGI-2 và 96,5% trên ARC-AGI-1, đạt 31 trên Artificial Analysis Intelligence Index, mức cao nhất cho mô hình open-weight được xây dựng ngoài Trung Quốc. Mô hình 48-layer này định tuyến mỗi token đến tám trong số 384 experts, ghép nối bộ mã hóa vision transformer 292M parameter với văn bản.