--- format: "aidr-story-markdown/v1" id: "094b8d34300c83e3a387af2ec9e27671ad234c70f43579824e764c69272cc01b" canonical_url: "https://aidr.today/094b8d34?lang=vi" title: "NVIDIA đạt 423 token/giây/người dùng trên Kimi K3" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-18T01:40:05.000Z" category: "Frameworks" topics: ["nvidia","inference","framework","open-source"] source_urls: ["https://huggingnews.com/ai/update-nvidia-hits-423-tokens-per-second-per-user-on-kimi-k3-e91b43e6","https://x.com/SemiAnalysis_/status/2111627094878790023","https://x.com/ArtificialAnlys/status/2110903261897388256","https://x.com/zwljohnny/status/2109679465609470216","https://x.com/tri_dao/status/2109691017570201965","https://x.com/_albertgu/status/2109744837432095077","https://marketbrief.now/ai/update-nvidia-hits-423-tokens-per-second-per-user-on-kimi-k3-e91b43e6","https://x.com/vllm_project/status/2111637219647840611"] summary: "Một kernel tối ưu hóa giải mã mới được viết bằng Cute DSL bởi các kỹ sĩ NVIDIA tăng tốc độ suy luận của mô hình Kimi K3 với 2,8 tỷ tham số lên 1,68 lần. Nhờ áp dụng Megakernel hợp nhất mạnh mẽ như một bản cập nhật ngược cho vLLM, nhóm CentML đã giúp mô hình đạt tốc độ tối đa 423 token/giây/người dùng. Hiệu suất này, nằm trong đoạn mã Megakernel dài 12.000 dòng, vượt mức cao nhất trên bảng xếp hạng trước đó là 255 token/giây. NVIDIA hiện đang mở rộng những tối ưu hóa này sang các mô hình khác, bao gồm cả DeepSeekv4.1. Sự tăng tốc này đi sau bản phát hành sản xuất của ReplaySSM trong các mô hình như GLM-5.3-Flash và Kimi-K3, cải thiện tốc độ giải mã tiêu chuẩn lên đến 1,47 lần. Phương pháp này tách việc tính toán đầu ra khỏi cập nhật trạng thái bằng cách lưu bộ nhớ đầu vào mô hình thay vì trạng thái, cho phép các mô hình State Space tiếp cận những tối ưu hóa thường chỉ dành cho Transformers. Trước bản cập nhật vLLM hiện tại, các bài kiểm tra benchmark của Kimi K3 trên phần cứng Vera Rubin đạt 255 token/giây và tăng 2,8 lần tốc độ trên mỗi MW của phần cứng GB300." --- # NVIDIA đạt 423 token/giây/người dùng trên Kimi K3 > [Open the canonical story]() **Published:** 2026-10-18T01:40:05.000Z **Category:** Frameworks **Topics:** nvidia, inference, framework, open\-source ## Summary Một kernel tối ưu hóa giải mã mới được viết bằng Cute DSL bởi các kỹ sĩ NVIDIA tăng tốc độ suy luận của mô hình Kimi K3 với 2,8 tỷ tham số lên 1,68 lần\. Nhờ áp dụng Megakernel hợp nhất mạnh mẽ như một bản cập nhật ngược cho vLLM, nhóm CentML đã giúp mô hình đạt tốc độ tối đa 423 token/giây/người dùng\. Hiệu suất này, nằm trong đoạn mã Megakernel dài 12\.000 dòng, vượt mức cao nhất trên bảng xếp hạng trước đó là 255 token/giây\. NVIDIA hiện đang mở rộng những tối ưu hóa này sang các mô hình khác, bao gồm cả DeepSeekv4\.1\. Sự tăng tốc này đi sau bản phát hành sản xuất của ReplaySSM trong các mô hình như GLM\-5\.3\-Flash và Kimi\-K3, cải thiện tốc độ giải mã tiêu chuẩn lên đến 1,47 lần\. Phương pháp này tách việc tính toán đầu ra khỏi cập nhật trạng thái bằng cách lưu bộ nhớ đầu vào mô hình thay vì trạng thái, cho phép các mô hình State Space tiếp cận những tối ưu hóa thường chỉ dành cho Transformers\. Trước bản cập nhật vLLM hiện tại, các bài kiểm tra benchmark của Kimi K3 trên phần cứng Vera Rubin đạt 255 token/giây và tăng 2,8 lần tốc độ trên mỗi MW của phần cứng GB300\. ## Sources - [Story source]() - [Story source]() - [Supporting source]() - [Story source]() - [Supporting source]() - [Supporting source]() - [Story source]() - [Story source]()