Push-based KV transfer để cải thiện TTFT và TPOT cho inference disaggregated trong vLLM

Sự tách LLM inference thành prefill-decode trong vLLM chia việc chạy trên các engine instances nhưng phải truyền KV cache giữa chúng. Bài viết giới thiệu NIXL connector dạng push, di chuyển việc điều phối transfer ra khỏi critical path, mang lại TTFT tốt hơn tới 3x và TPOT tốt hơn 30% trong benchmark trên EC2 P5en với AWS EFA.