Frameworks17.11.2026 · 06:381 nguồn

vLLM đạt thông lượng token gấp 93,3 lần GB300 khi chạy DeepSeek inference trên Nvidia Rubin

Từ marketbrief.now

Ảnh: marketbrief.now
AI;DR

Dự án vLLM đã cập nhật kết quả về hiệu suất cho mô hình DeepSeek-V4.1-Flash chạy trên phần cứng Nvidia Vera Rubin NVL72. Các thử nghiệm mới sử dụng benchmark SemiAnalysis AgentX cho thấy cấu hình này mang lại tổng thông lượng token trên mỗi chip cao hơn 63,4 lần so với GB300 NVL72 khi hoạt động ở mức 400 token mỗi giây trên mỗi người dùng. Khi tốc độ người dùng tăng lên 600 token mỗi giây, lợi thế về thông lượng so với GB300 tăng lên tới 93,3 lần.

Các thử nghiệm độ trễ thấp riêng biệt chỉ ra rằng hệ thống có thể đạt khoảng 2.500 token mỗi giây với batch size bằng 1, nhanh gấp khoảng 1,5 lần so với các con số trước đó của GB300. Chạy mô hình trên Vera Rubin ở mức 200 token mỗi giây trên mỗi người dùng tiêu tốn 117,89 USD cho mỗi chip-giờ nếu dùng mức giá giờ thấp điểm của DeepSeek. Những con số này được xây dựng dựa trên các kết quả trước đó từ vLLM khi đạt 1,7 triệu token mỗi giây trên mỗi GPU, tăng 58 lần so với GB300.

Để tối ưu hóa hiệu suất, vLLM đã tạo ra Mooncake KV pool để chia sẻ DRAM và HBM dư thừa giữa các rack, đồng thời chia nhỏ các bảng Engram qua NVLink. Những thay đổi này giúp duy trì tỷ lệ cache hit lên tới 97% và giảm thời gian P90 từ token đầu tiên xuống còn 0,38 giây từ mức 0,98 giây.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay