Models18.09.2026 · 20:082 nguồn

Giới thiệu Amazon SageMaker HyperPod Inference Gateway

Từ aws.amazon.com

Ảnh: aws.amazon.com
AI;DR

Amazon SageMaker HyperPod Inference Gateway là một tiện ích mở rộng định tuyến nhận thức GPU, dựa trên Kubernetes, dành cho Amazon EKS. Nó sử dụng tín hiệu GPU thời gian thực để gửi mỗi yêu cầu suy luận đến pod phù hợp nhất, giảm độ trễ token đầu tiên lên đến 82% mà không cần thay đổi máy chủ mô hình hoặc ứng dụng khách.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay