Có nên giữ lại KV cache không: Học cách giữ lại trong hệ thống phục vụ LLM đã tách rời

Hệ thống phục vụ LLM đã tách rời tách prefill và decode trên các nhóm nút, đặt một mạng lưới mạng giữa việc tính toán và tiêu thụ KV cache. Điều này phá vỡ một giả định then chốt của các chính sách bộ nhớ truyền thống: một lần truy cập bỏ lỡ không chỉ gây ra tính toán lại cục bộ mà còn truyền dữ liệu qua mạng đến nút decode. Tương tự, việc chấp nhận một khối vào bộ nhớ cache toàn cục cũng đòi hỏi thêm một lần truyền dữ liệu, vì vậy những quyết định giữ lại kém hiệu quả sẽ lãng phí cả bộ nhớ và băng rộng. Chúng tôi trình bày KVLearn, một khung làm việc dựa trên học máy cho việc giữ lại KV cache có nhận thức chi phí trong hệ thích phục vụ đã tách rời. KVLearn bao gồm: (i) một Prefix Reuse Predictor (PRP) nhẹ nhàng ước tính xác suất tái sử dụng từ các đặc trưng cấu trúc và thời gian của tiền tố mà không thay đổi trọng số mô hình; (ii) một Cost-Aware Retention Score (CARS) chuyển đổi xác suất tái sử dụng thành các quyết định giữ/chấp nhận bằng cách sử dụng chi phí tính toán lại, truyền dữ liệu và lưu trữ; và (iii) một Adaptive Threshold Controller (ATC) điều chỉnh ngưỡng nhập vào theo thời gian thực từ các tỷ lệ trúng cache và áp lực bộ nhớ quan sát được.