--- format: "aidr-story-markdown/v1" id: "f67cf667c292b6866817f8675b21c37cf4c6ac1b0ee4ed375074e1ef0173d728" canonical_url: "https://aidr.today/f67cf667?lang=vi" title: "SGLang ra mắt hệ thống plugin mới cho kernel AI NVIDIA và AMD" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-20T17:40:15.000Z" category: "Frameworks" topics: ["deepseek","inference","framework"] source_urls: ["https://huggingnews.com/ai/update-sglang-launches-new-plugin-system-for-nvidia-and-amd-ai-kernels-f9948f1c","https://marketbrief.now/ai/update-sglang-launches-new-plugin-system-for-nvidia-and-amd-ai-kernels-f9948f1c"] summary: "Hai tiện ích mở rộng chuyên biệt là sgl-nvidia-mega và sgl-amd-mono giờ đây cho phép các nhà cung cấp phần cứng giao kernel có độ trễ thấp cho SGLang dưới dạng thư viện bên ngoài. Kiến trúc plugin này tích hợp mã chuyên biệt từ NVIDIA và AMD vào khung, tự động quay lại các đường xử lý chung khi một bước cụ thể không được hỗ trợ. Hiện tại, plugin NVIDIA chỉ hỗ trợ DeepSeek-V4.1-Flash chạy trên 4x GB300 GPU, và người dùng phải dùng một cờ cụ thể để ngăn máy chủ khởi động trên phần cứng không được hỗ trợ. Hệ thống đã cho phép tối ưu hóa bên thứ ba, như một kernel mới từ Zyphra chia DeepSeek-V4 bước chọn thành 32 trong số 256 đơn vị tính toán của GPU. Sửa đổi này đã tăng tốc độ giải mã người dùng đơn tại ngữ cảnh 1M từ 43.5 lên 61.1 tok/s. SGLang đang phát triển thêm các kernel có độ trễ thấp cho các mô hình GLM-5.3, K3 và MiniMax M3 trên cả phần cứng NVIDIA và AMD để mở rộng khả năng của hệ thống plugin mới." --- # SGLang ra mắt hệ thống plugin mới cho kernel AI NVIDIA và AMD > [Open the canonical story]() **Published:** 2026-10-20T17:40:15.000Z **Category:** Frameworks **Topics:** deepseek, inference, framework ## Summary Hai tiện ích mở rộng chuyên biệt là sgl\-nvidia\-mega và sgl\-amd\-mono giờ đây cho phép các nhà cung cấp phần cứng giao kernel có độ trễ thấp cho SGLang dưới dạng thư viện bên ngoài\. Kiến trúc plugin này tích hợp mã chuyên biệt từ NVIDIA và AMD vào khung, tự động quay lại các đường xử lý chung khi một bước cụ thể không được hỗ trợ\. Hiện tại, plugin NVIDIA chỉ hỗ trợ DeepSeek\-V4\.1\-Flash chạy trên 4x GB300 GPU, và người dùng phải dùng một cờ cụ thể để ngăn máy chủ khởi động trên phần cứng không được hỗ trợ\. Hệ thống đã cho phép tối ưu hóa bên thứ ba, như một kernel mới từ Zyphra chia DeepSeek\-V4 bước chọn thành 32 trong số 256 đơn vị tính toán của GPU\. Sửa đổi này đã tăng tốc độ giải mã người dùng đơn tại ngữ cảnh 1M từ 43\.5 lên 61\.1 tok/s\. SGLang đang phát triển thêm các kernel có độ trễ thấp cho các mô hình GLM\-5\.3, K3 và MiniMax M3 trên cả phần cứng NVIDIA và AMD để mở rộng khả năng của hệ thống plugin mới\. ## Sources - [Story source]() - [Story source]()