Tools18.11.2026 · 04:111 nguồn

Amazon SageMaker AI real-time endpoints hiện hỗ trợ KV cache aware routing

Từ aws.amazon.com

Ảnh: aws.amazon.com
AI;DR

Các real-time endpoints của Amazon SageMaker AI hiện hỗ trợ KV cache-aware routing, một chiến lược mới giúp điều hướng mỗi yêu cầu đến instance giữ bản lưu cache khớp dài nhất cho prompt đó. Người dùng có thể tìm hiểu cách hoạt động, thời điểm nên dùng tính năng này thay vì prefix-aware routing, cũng như cách kích hoạt, gọi và xác minh trên các endpoint của single model và inference component.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay