Tools18.11.2026 · 06:331 nguồn

Hỗ trợ NVIDIA Dynamo được quản lý trên Amazon SageMaker HyperPod Inference

Từ aws.amazon.com

Ảnh: aws.amazon.com
AI;DR

Amazon SageMaker HyperPod Inference hiện đã hỗ trợ NVIDIA Dynamo cho Inference phân tán, đi kèm với khả năng phục vụ đa node và disaggregated serving, định tuyến KV-aware và tự động phục hồi lỗi. Người dùng có thể phục vụ các mô hình lớn trên nhiều node mà không cần tự xây dựng lớp điều phối.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay