Tsinghua AI ra mắt AKV, một cache engineering server cho LLM agent trên SGLang

Các nhà nghiên cứu Tsinghua đã phát hành AKV, một hệ thống phục vụ dựa trên SGLang dùng cho kỹ thuật bộ nhớ đệm. Các LLM agent thay vì tóm tắt lịch sử thì sẽ thả và đặt lại KV cache, giảm chi phí trung bình 27,7% trên 4 benchmark agent.