--- format: "aidr-story-markdown/v1" id: "0db7b6a64d84e6230ade0db24221a333c20a4c1d9ed4b400f69248a768fcc501" canonical_url: "https://aidr.today/0db7b6a6?lang=vi" title: "SGLang và vLLM trùng khớp DeepInfer của DeepSeek với bộ serving sẵn sàng production" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-24T19:23:01.000Z" category: "Frameworks" topics: ["deepseek","inference","framework"] source_urls: ["https://marketbrief.now/ai/update-sglang-and-vllm-match-deepseeks-deepinfer-engine-with-full-produc-a1636bba","https://x.com/vllm_project/status/2114054277379641770","https://x.com/vllm_project/status/2114054289488478256","https://x.com/sgl_project/status/2114071115605877043","https://x.com/sgl_project/status/2114071118940360743","https://x.com/natolambert/status/2113685620941885732","https://x.com/SemiAnalysis_/status/2112950867301159252","https://x.com/swyx/status/2112587397380943953"] summary: "Các framework inference mã nguồn mở SGLang và vLLM đã tích hợp kernels và tối u hóa mới nhất của DeepSeek để trùng khớp hoặc vượt mặt hiệu suất của engine DeepInfer nội bộ của DeepSeek trên mô hình DeepSeek-V4.1-Flash với 552B tham số. SGLang đạt tới 1,04 lần throughput prefill của DeepInfer trên bốn GPU Nvidia GB300 hoặc B300 và lên tới 7,4% throughput decode cao hơn trên 64 chip GB300 sau khi thêm Mega kernels, SWA bounded replay và tối ưu Engram. Trong khi đó, vLLM đã trùng khớp đường cong decode của DeepInfer trên các batch size từ 8 đến 256 bằng cách dùng một nửa expert parallelism (DEP32 thay vì EP64DP64) và đạt 954.000 token/giây/GPU trên benchmark SemiAnalysis AgentX trên một rack GB300 NVL72, tức 7,9 lần kết quả single node. Cả hai bản cập nhật đều cung cấp hạ tầng serving production mà DeepSeek đã bỏ qua khi open source DeepInfer dưới giấy phép Apache 2.0 vào ngày 20/10. SemiAnalysis và đội ngũ SGLang lưu ý rằng repository của DeepInfer thiếu hệ thống KV cache bền vững, disaggregation prefill và decode, cũng như load balancing giữa các replica — những tính năng mà SGLang cung cấp cùng với hướng dẫn tái tạo end-to-end thông qua các thành phần RadixAttention, HiCache và Li…" --- # SGLang và vLLM trùng khớp DeepInfer của DeepSeek với bộ serving sẵn sàng production > [Open the canonical story]() **Published:** 2026-10-24T19:23:01.000Z **Category:** Frameworks **Topics:** deepseek, inference, framework ## Summary Các framework inference mã nguồn mở SGLang và vLLM đã tích hợp kernels và tối u hóa mới nhất của DeepSeek để trùng khớp hoặc vượt mặt hiệu suất của engine DeepInfer nội bộ của DeepSeek trên mô hình DeepSeek\-V4\.1\-Flash với 552B tham số\. SGLang đạt tới 1,04 lần throughput prefill của DeepInfer trên bốn GPU Nvidia GB300 hoặc B300 và lên tới 7,4% throughput decode cao hơn trên 64 chip GB300 sau khi thêm Mega kernels, SWA bounded replay và tối ưu Engram\. Trong khi đó, vLLM đã trùng khớp đường cong decode của DeepInfer trên các batch size từ 8 đến 256 bằng cách dùng một nửa expert parallelism \(DEP32 thay vì EP64DP64\) và đạt 954\.000 token/giây/GPU trên benchmark SemiAnalysis AgentX trên một rack GB300 NVL72, tức 7,9 lần kết quả single node\. Cả hai bản cập nhật đều cung cấp hạ tầng serving production mà DeepSeek đã bỏ qua khi open source DeepInfer dưới giấy phép Apache 2\.0 vào ngày 20/10\. SemiAnalysis và đội ngũ SGLang lưu ý rằng repository của DeepInfer thiếu hệ thống KV cache bền vững, disaggregation prefill và decode, cũng như load balancing giữa các replica — những tính năng mà SGLang cung cấp cùng với hướng dẫn tái tạo end\-to\-end thông qua các thành phần RadixAttention, HiCache và Li… ## Sources - [Story source]() - [Story source]() - [Story source]() - [Story source]() - [Supporting source]() - [Supporting source]() - [Supporting source]() - [Supporting source]()