Buoyant ra mắt Kinference: Một inference control plane mã nguồn mở cho Kubernetes và vLLM

Buoyant vừa phát hành Kinference, một inference control plane mã nguồn Apache 2.0 dành cho vLLM trên Kubernetes. Công cụ này bổ sung các chính sách định tuyến khai báo, khả năng load balancing KV-cache-aware và các chỉ số theo từng tenant, đồng thời giúp giảm 95% TTFT trung vị trong benchmark của chính Buoyant.