SageMaker Inference hỗ trợ Multi-Instance GPU để tối đa hóa GPU utilization cho model endpoints

Amazon SageMaker Inference hiện hỗ trợ phân vùng GPU bằng NVIDIA Multi-Instance GPU MIG, tính năng này chia một GPU thành các phân vùng cách ly phần cứng cho phép chạy các model khác nhau trong mỗi phân vùng hoặc sử dụng một phần có kích thước phù hợp của bộ tăng tốc mới. Bài viết này minh họa cách hai trường API tùy chọn đặt một model trên mỗi phân vùng và những gì chúng tôi đo lường so với một GPU cũ hoàn chỉnh.