Một kernel tối ưu hóa giải mã mới được viết bằng Cute DSL bởi các kỹ sĩ NVIDIA tăng tốc độ suy luận của mô hình Kimi K3 với 2,8 tỷ tham số lên 1,68 lần. Nhờ áp dụng Megakernel hợp nhất mạnh mẽ như một bản cập nhật ngược cho vLLM, nhóm CentML đã giúp mô hình đạt tốc độ tối đa 423 token/giây/người dùng. Hiệu suất này, nằm trong đoạn mã Megakernel dài 12.000 dòng, vượt mức cao nhất trên bảng xếp hạng trước đó là 255 token/giây. NVIDIA hiện đang mở rộng những tối ưu hóa này sang các mô hình khác, bao gồm cả DeepSeekv4.1.
Sự tăng tốc này đi sau bản phát hành sản xuất của ReplaySSM trong các mô hình như GLM-5.3-Flash và Kimi-K3, cải thiện tốc độ giải mã tiêu chuẩn lên đến 1,47 lần. Phương pháp này tách việc tính toán đầu ra khỏi cập nhật trạng thái bằng cách lưu bộ nhớ đầu vào mô hình thay vì trạng thái, cho phép các mô hình State Space tiếp cận những tối ưu hóa thường chỉ dành cho Transformers. Trước bản cập nhật vLLM hiện tại, các bài kiểm tra benchmark của Kimi K3 trên phần cứng Vera Rubin đạt 255 token/giây và tăng 2,8 lần tốc độ trên mỗi MW của phần cứng GB300.
Nguồn chính
- SOURCE@semianalysis_“NVIDIA has just achieved 423 tok/s/user 🚀 on the 2.8T Parameter Kimi K3 model via a new upstream vLLM optimization”x.com
- SUPPORT@artificialanlys“sets the fastest Kimi K3 result on our leaderboard at 255 tok/s per user”x.com
- SOURCE@zwljohnny“speeds up standard decoding (up to 1.47x) and speculative decoding (up to 2.1x)”x.com
- SUPPORT@tri_dao“A lot of the big wins weren’t new architectures, just people taking memory IO seriously.”x.com
- SUPPORT@_albertgu“there are still many ideas and optimizations waiting to be discovered for alternative architectures!”x.com
- SOURCEmarketbrief.now
- SOURCE@vllm_project“Kimi K3 decode on NVIDIA GB300 NVL72: 842 tokens/s at batch 1 with DSpark”x.com
- SUPPORT@vllm_project“reducing recurrent-state memory traffic by caching SSM inputs and updating the checkpoint only when needed”x.com