Models18.09.2026 · 20:082 nguồn
Giới thiệu Amazon SageMaker HyperPod Inference Gateway
Từ aws.amazon.com
Amazon SageMaker HyperPod Inference Gateway là một tiện ích mở rộng định tuyến nhận thức GPU, dựa trên Kubernetes, dành cho Amazon EKS. Nó sử dụng tín hiệu GPU thời gian thực để gửi mỗi yêu cầu suy luận đến pod phù hợp nhất, giảm độ trễ token đầu tiên lên đến 82% mà không cần thay đổi máy chủ mô hình hoặc ứng dụng khách.
Đọc bài gốcĐăng nhập để góp ý
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay