1

vLLM v0.32.0

github.com

vLLM v0.32.0 ra mắt với 814 commit từ 363 cộng đồng đóng góp (121 người mới). Endpoint POST /v1/systemone mới trả lời câu hỏi lựa chọn, noul và score trên trạng thái có cấu trúc, được bật mặc định và chạy trên Cloudflare/clef-omni, LiquidAI/d1-3B và DiffusionGemma. Công cụ hf mới và parser reasoning (--tool-call-parser hf, --reasoning-parser hf) đọc response_template từ checkpoint, giúp các mô hình không cần parser riêng, trên cả frontend Python và Rust. Cache KV low-precision mở rộng khắp nơi: cache NVFP4 chạy trên SM8x, SM12x, SM90 và với XQA decode trên SM12x; MiniMax-M3 sparse attention trên SM100; GLM-5.x mặc định dùng cache FP8 trên SM100 với 2.3-5.5% throughput cao hơn; fp8_ds_mla trên SM90 tăng throughput đầu ra của GLM-5.3-Flash lên tới 31%; ROCm hỗ trợ cache ultraquant_4bit 4-bit với mật độ gấp đôi so với FP8.

Đăng nhập để góp ý

Nguồn chính

  1. SOURCEgithub.com
Bản Markdown