Giới thiệu Amazon SageMaker HyperPod Inference Gateway

Amazon SageMaker HyperPod Inference Gateway là một tiện ích mở rộng định tuyến nhận thức GPU, dựa trên Kubernetes, dành cho Amazon EKS. Nó sử dụng tín hiệu GPU thời gian thực để gửi mỗi yêu cầu suy luận đến pod phù hợp nhất, giảm độ trễ token đầu tiên lên đến 82% mà không cần thay đổi máy chủ mô hình hoặc ứng dụng khách.