Nvidia vượt 1.000 token mỗi giây mỗi user trên các model 700B+

Một bài nộp mới của Nvidia cho benchmark SemiAnalysis AgentX dùng phần mềm do agent swarm viết để đẩy các chip bộ nhớ băng thông cao vượt mốc 1.000 token mỗi giây mỗi user trên các model có hơn 700B tham số. Chạy trên hệ thống Rubin NVL72 của Nvidia, bài nộp này đạt hiệu suất gấp 20,9 lần so với tổng chi phí sở hữu của rack GB300 NVL72 ở mức 325 token mỗi giây mỗi user, và cao tới 9,11 lần hiệu suất trên TCO ở mức 200 token mỗi giây mỗi user. Kết quả này tiếp nối chuỗi thành tích AgentX trên model V4.1 Flash 552B tham số của DeepSeek sau khi phòng thí nghiệm Trung Quốc open source engine DeepInfer nội bộ vào ngày 20 tháng 10. Framework inference mã nguồn mở SGLang, hợp tác với RadixArk và Nvidia trên rack GB300 NVL72, đạt 943 token mỗi giây mỗi user ở mức concurrency 1 khi dùng MegaKernel và nâng tổng thông lượng đỉnh lên 1,09 triệu token mỗi giây mỗi GPU, tăng so với 654.000 bốn ngày trước. Framework đối thủ vLLM cũng tích hợp các kernel mã nguồn mở của DeepSeek để khớp đường cong decode của DeepInfer trên các batch size từ 8 đến 256 với một nửa expert parallelism, đạt 954.000 token mỗi giây mỗi GPU trên AgentX trên hệ thống GB300 NVL72 và tạo ra 38,96 USD mỗi giờ mỗi GPU