Chạy mô hình MoE 120B trên M1 Max 32GB với dưới 16 GB

Tác giả đã thử chạy các large language models trên MacBook Pro có M1 Max và 32GB RAM, nhận thấy mô hình 60GB không thể chứa hoàn toàn trong bộ nhớ. Tác giả áp dụng cách tiếp cận khác là giữ phần lớn mô hình MoE trên SSD, gọi các phần cần thiết và giới hạn bộ nhớ cho quá trình inference là 16 GiB, thay vì chỉ đặt số trong file cấu hình mà còn kiểm tra với bộ đếm bộ nhớ của macOS. Kết quả là một prototype có thể chạy gpt-oss-120b và Qwen3.5-122B-A10B với ngân sách bộ nhớ tiến trình 16 GiB, kèm theo chat trình duyệt nhỏ và API OpenAI-compatible cục bộ. Tác giả chưa phát hành code engine nhưng muốn chia sẻ kết quả và những sai lầm đã mắc phải. Trên gpt-oss-120b, dùng các expert MXFP4 gốc và trọng số non-expert BF16, engine của tác giả đạt trung bình 7,84 token/s qua tám prompt và ba vòng xen kẽ, nhanh hơn 36% so với 5,78 token/s của TUFF trên cùng Mac. Tác giả đã kiểm tra khớp trọng số bằng cách so sánh mẫu 144 expert tensors từng byte và tất cả 471 non-expert tensors khớp với file TUFF tải.