SGLang và vLLM trùng khớp DeepInfer của DeepSeek với bộ serving sẵn sàng production
marketbrief.nowCác framework inference mã nguồn mở SGLang và vLLM đã tích hợp kernels và tối u hóa mới nhất của DeepSeek để trùng khớp hoặc vượt mặt hiệu suất của engine DeepInfer nội bộ của DeepSeek trên mô hình DeepSeek-V4.1-Flash với 552B tham số. SGLang đạt tới 1,04 lần throughput prefill của DeepInfer trên bốn GPU Nvidia GB300 hoặc B300 và lên tới 7,4% throughput decode cao hơn trên 64 chip GB300 sau khi thêm Mega kernels, SWA bounded replay và tối ưu Engram. Trong khi đó, vLLM đã trùng khớp đường cong decode của DeepInfer trên các batch size từ 8 đến 256 bằng cách dùng một nửa expert parallelism (DEP32 thay vì EP64DP64) và đạt 954.000 token/giây/GPU trên benchmark SemiAnalysis AgentX trên một rack GB300 NVL72, tức 7,9 lần kết quả single node.
Cả hai bản cập nhật đều cung cấp hạ tầng serving production mà DeepSeek đã bỏ qua khi open source DeepInfer dưới giấy phép Apache 2.0 vào ngày 20/10. SemiAnalysis và đội ngũ SGLang lưu ý rằng repository của DeepInfer thiếu hệ thống KV cache bền vững, disaggregation prefill và decode, cũng như load balancing giữa các replica — những tính năng mà SGLang cung cấp cùng với hướng dẫn tái tạo end-to-end thông qua các thành phần RadixAttention, HiCache và Linker.
Trong bản cập nhật của
Lịch sử nội dung (2)
- 2026-10-24 · Tóm tắt · vi · Thay nội dung đã lưuSGLang và vLLM đã cập bằng được hiệu năng của DeepInfer engine do DeepSeek phát triển, đồ…Các framework inference mã nguồn mở SGLang và vLLM đã tích hợp kernels và tối u hóa mới n…
- 2026-10-24 · Tiêu đề · vi · Thay nội dung đã lưuSGLang và vLLM đạt tốc độ tương đương DeepInfer của DeepSeek với ngăn xếp phục vụ toàn di…SGLang và vLLM trùng khớp DeepInfer của DeepSeek với bộ serving sẵn sàng production
Nguồn chính
- SOURCE@vllm_project“vLLM matches DeepInfer, DeepSeek's own engine for DeepSeek-V4.1-Flash, on DeepSeek's decode configuration across batch sizes 8 to 256, and does it at DEP32 against DeepInfer’s EP64DP64.”x.com
- SOURCE@vllm_project“Scaled out with P/D disaggregation and Wide-EP on a GB300 NVL72 rack, vLLM serves V4.1-Flash on SemiAnalysis AgentX at 954K tokens/s per GPU with 196 tokens/s P90 per user, 7.9× our single-node result.”x.com
- SOURCE@sgl_project“SGLang now matches DeepInfer performance on BOTH prefill and decode: • Prefill: Up to 1.04× throughput on 4× GB300 and 4× B300 • Decode: Up to 7.4% throughput on 64× GB300”x.com
- SUPPORT@sgl_project“DeepInfer's open-source release leaves out three key serving components: a KV cache system, prefill/decode disaggregation, and load balancing.”x.com
- SUPPORT@natolambert“DeepSeek is serving 150T tokens a day on one cluster, more than the open model inference on OpenRouter, Fireworks, Together, and BaseTen combined.”x.com
- SUPPORT@semianalysis_“DeepSeek dropped DeepInfer a few days ago, but the code is missing key components that is crucial for inference serving, and building them adds too much assumptions.”x.com
- SUPPORT@swyx“Currently, the service throughput of a single cluster is 155 trillion tokens/day, and the overall revenue is $38 per card per hour (based on off-peak prices).”x.com
- SUPPORT@tim_dettmers“DeepSeeks inference system is on par with OpenAIs stack and better what Anthropic is running (at least for their user size).”x.com