Right-size generative AI endpoints with concurrency sweeps on Amazon SageMaker AI

Amazon SageMaker AI ra mắt tính năng concurrency sweeps giúp tối ưu quy mô các endpoint AI sinh tạo một cách thông minh. Tính năng này tự động điều chỉnh số lượng tài nguyên GPU dựa trên mức độ đồng thời thực tế, giúp doanh nghiệp tiết kiệm chi phí vận hành đáng kể trong khi duy trì hiệu suất ổn định cho các mô hình LLM.