vLLM đạt thông lượng hơn 7,8 lần GB200 nhờ hỗ trợ NVIDIA Vera Rubin

vLLM vừa tích hợp khả năng tương thích với kiến trúc GPU Vera Rubin mới nhất của NVIDIA vào thư viện suy luận mã nguồn mở của mình. Các thử nghiệm ban đầu cho thấy nền tảng mang lại hơn 7,8 lần thông lượng của GB200 khi chạy mô hình MiniMax M3 trên AgentX, thông qua bản tích hợp do cộng đồng vLLM, Inferact, Red Hat và NVIDIA hợp tác phát triển.

Bản hỗ trợ cập nhật hiện có sẵn thông qua bản dựng vllm/vllm-openai:cu134-nightly. Phiên bản này tương thích với nhiều LLM bao gồm GLM, Kimi, DeepSeek và MiniMax, cho phép các nhà phát triển tận dụng phần cứng mới để đạt thông lượng cao hơn trong các môi trường triển khai thực tế.