Sửa chữa độ chính xác lời gọi công cụ trong vLLM

Độ chính xác trong việc thực hiện tool call là một phần quan trọng khi phục vụ các mô hình AI open-weight. Khi các lời gọi công cụ của bạn không chính xác, mô hình sẽ dựa trên bối cảnh vô nghĩa. Chúng tôi đã duy trì một nhánh phát triển riêng của vLLM để đạt được 100% độ chính xác schema trong tool call với Kimi và DeepSeek. May mắn thay, vLLM 0.31 đã thêm hỗ trợ cho việc giải mã có ràng buộc, một kỹ thuật để bảo đảm tuân thủ schema. Bằng cách bật tính năng này, bạn có thể đạt được 100% độ chính xác schema với các mô hình Kimi và DeepSeek mới hơn.