vLLM tăng 5,3 lần thông lượng cho DeepSeek-V4.1-Flash chỉ sau 3 tuần

Serving engine vLLM nay giảm được độ trễ ở mức đồng thời thấp cho mô hình DeepSeek-V4.1-Flash, giúp tốc độ cải thiện 1,9 lần so với hiệu năng cơ sở. Những cập nhật này cũng mang lại thông lượng cao gấp 5,3 lần khi chạy ở mức 150 token mỗi giây cho mỗi người dùng trên nền tảng AgentX của SemiAnalysis. Dự án vLLM đạt được các cột mốc hiệu năng này ba tuần sau khi mô hình ra mắt lần đầu. Nhóm phát triển đã công bố các biểu đồ tương tác cùng tài liệu kỹ thuật để minh họa những tối ưu hóa suy luận cụ thể từng được dùng nhằm tăng thông lượng và khả năng xử lý đồng thời.