SGLang gần 1.000 token/giây/người dùng trên DeepSeek V4.1 Flash với Nvidia GB300

Khung inference mã nguồn mở SGLang đạt gần 1.000 token mỗi giây cho mỗi người dùng khi chạy DeepSeek-V4.1-Flash trên hệ thống Nvidia GB300 NVL72, SemiAnalysis báo cáo. Tốc độ tăng lên nhờ công việc của SGLang, RadixArk và Nvidia kết hợp giữa việc tách rời prefill và decode với kỹ thuật fusion kernel quyết liệt, một kỹ thuật động cơ megakernel do TileRT phát triển cho các mô hình frontier mở.

Cột mốc này dựa trên những cập nhật từ SGLang và vLLM đã tích hợp mã nguồn từ engine DeepInfer nội bộ của DeepSeek để đạt hoặc vượt hiệu suất cơ bản đồng thời thêm đầy đủ tính năng phục vụ sản xuất — bộ nhớ KV bền vững, tách rời prefill và decode, cân bằng tải — những gì DeepSeek đã bỏ qua trong bản phát hành mã nguồn mở của họ. SGLang đạt tới 1,04 lần throughput prefill của DeepInfer trên bốn GPU GB300 hoặc B300 và lên tới 7,4% throughput decode cao hơn trên 64 chip GB300 sau khi áp dụng Mega kernels, SWA bounded replay, tối ưu Engram và CUDA graphs có thể phá vỡ. Trong khi đó, vLLM đã khớp đường cong decode của DeepInfer trên các kích thước batch từ 8 đến 256 với mức độ song song chuyên gia thấp hơn một nửa (DEP32 so với EP64DP64) và đạt 954.000 token mỗi giây cho mỗi GPU trên benchmark AgentX của SemiAnalysis trên GB300