Cache Engineering cho các agent

Các LLM agent có thể xử lý các tác vụ ngày càng phức tạp, điều hướng qua các quỹ đạo quan sát và hành động dài. Khi các quỹ đạo này lớn dần, việc lưu trữ và I/O của KV cache trở thành chi phí chủ yếu. Các quỹ đạo cũng có thể vượt quá context window tối đa của LLM, đòi hỏi phải kiểm soát sự tăng trưởng của cache đang hoạt động. Các nghiên cứu trước đây dùng context engineering để giảm kích thước cache bằng cách cắt tỉa hoặc tóm tắt lịch sử. Tuy nhiên, việc sửa đổi trajectory prefix sẽ làm mất hiệu lực các trạng thái cache tiếp theo và kích hoạt quá trình re-prefilling tốn kém cho phần context được giữ lại. Độ chính xác của tác vụ cũng có thể bị ảnh hưởng nếu giữ lại quá ít context để tiết kiệm chi phí re-prefill. Chúng tôi đề xuất cache engineering như một cơ chế mới. Nó cho phép các agent trực tiếp kiểm soát KV cache đang hoạt động mà không cần sửa đổi quỹ đạo hay re-prefilling phần context được giữ lại. Cụ thể, các agent có thể chủ động dùng drop để loại bỏ các cache được chọn khỏi quá trình attention trong tương lai và dùng repos để điều chỉnh position encodings của các key được giữ lại.