---
format: "aidr-story-markdown/v1"
id: "91acaa948be0ef776517a5556250910b71b6f18d03a7c2e95ae4fc5fa82aafd6"
canonical_url: "https://aidr.today/91acaa94?lang=vi"
title: "Amazon SageMaker AI real-time endpoints hiện hỗ trợ KV cache aware routing"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-17T21:11:51.000Z"
category: "Tools"
topics: ["amazon","inference","devtools"]
source_urls: ["https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-real-time-endpoints-now-support-kv-cache-aware-routing/"]
summary: "Các real-time endpoints của Amazon SageMaker AI hiện hỗ trợ KV cache-aware routing, một chiến lược mới giúp điều hướng mỗi yêu cầu đến instance giữ bản lưu cache khớp dài nhất cho prompt đó. Người dùng có thể tìm hiểu cách hoạt động, thời điểm nên dùng tính năng này thay vì prefix-aware routing, cũng như cách kích hoạt, gọi và xác minh trên các endpoint của single model và inference component."
---

# Amazon SageMaker AI real\-time endpoints hiện hỗ trợ KV cache aware routing

> [Open the canonical story](<https://aidr.today/91acaa94?lang=vi>)

**Published:** 2026-11-17T21:11:51.000Z
**Category:** Tools
**Topics:** amazon, inference, devtools

## Summary

Các real\-time endpoints của Amazon SageMaker AI hiện hỗ trợ KV cache\-aware routing, một chiến lược mới giúp điều hướng mỗi yêu cầu đến instance giữ bản lưu cache khớp dài nhất cho prompt đó\. Người dùng có thể tìm hiểu cách hoạt động, thời điểm nên dùng tính năng này thay vì prefix\-aware routing, cũng như cách kích hoạt, gọi và xác minh trên các endpoint của single model và inference component\.

## Sources

- [Story source](<https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-real-time-endpoints-now-support-kv-cache-aware-routing/>)

