Unsloth thu nhỏ mô hình M3.1 Flash 428B của MiniMax để chạy cục bộ trên RAM 150GB

Unsloth phát hành các bản quantization GGUF động 2-bit của mô hình M3.1 Flash 428B tham số của MiniMax, giảm kích thước xuống 143,9GB (giảm 45%) và cho phép chạy cục bộ trên 150GB RAM. Phiên bản nén giữ lại 91,5% độ chính xác top 1 token trên bảy lĩnh vực và tương thích với Unsloth Desktop và llama.cpp, trong khi bản quantization UD-IQ1_M nhỏ hơn giữ lại khoảng 89,9% độ chính xác top 1.

Các đánh giá độc lập cũng cho thấy kết quả benchmark mã hóa thấp hơn so với những gì MiniMax báo cáo. Trong khi MiniMax tuyên bố M3.1 Flash đạt 38 điểm trên Terminal-Bench 4.0, hai bài kiểm tra bên ngoài ghi nhận điểm 26, bao gồm mức 25,2% từ nhà đánh giá Vals AI, vẫn cao hơn 1% do tiền nhiên M3 giải quyết. Vals AI lưu ý rằng M3.1 Flash tạo ra khoảng 15 lần token đầu ra so với M3 trên các tác vụ thuế và pháp lý để đạt độ chính xác cao hơn.

Các bản quantization cục bộ này đi sau bản phát hành open-weight của MiniMax vào ngày 23/10 cho M3.1 Flash, một mô hình mixture-of-experts kích hoạt 23B tham số mỗi token và sử dụng NVFP4 cho các lớp MoE cùng với BF16 và MXFP8 cho phần còn lại trọng số.