SGLang tăng tốc độ suy luận của Kimi K3 thêm 20% trên NVIDIA Vera Rubin

Tối ưu hóa kernel cho tính năng gộp đuôi MoE đã loại bỏ 276 lần gọi kernel trong mỗi bước giải mã, giúp tăng tốc 5,9% tốc độ suy luận toàn trình trên các dòng chip thế hệ mới. Dự án SGLang hợp tác với NVIDIA trên phần cứng Vera Rubin dùng thử sớm đã đạt tốc độ FP8 MLA nhanh hơn tới 20% ở batch 1 với context window 128K cho mô hình Kimi K3. Các cải thiện khác bao gồm xác thực KDA nhanh hơn 20% với đầu ra trùng khớp từng bit và tốc độ tăng 16% cho batch 16, nhờ vào dung lượng 327 KiB shared memory mỗi CTA của kiến trúc Rubin. Những cải thiện hiệu suất này giúp nền tảng Miles do radixark phát triển có thể thực hiện các vòng lặp reinforcement learning hoàn chỉnh chỉ trên một khay 4-GPU duy nhất, sử dụng quá trình huấn luyện Megatron và các rollout SGLang trong cùng một container. Thiết lập này đã nâng phần thưởng GSM8K cho Qwen3-30B-A3B từ khoảng 45% lên 95% qua 50 rollout. Chip Vera CPU cũng hỗ trợ đồng thời 64 sandbox mini-SWE-agent để chạy agentic RL với Qwen3.5-35B-A3B, trong khi hệ thống hỗ trợ rollout và huấn luyện toàn trình cho DeepSeek-V4-Flash.