Infra17.09.2026 · 01:591 nguồn
Huấn luyện phân tán chịu lỗi trên Amazon EKS bằng NVRx
Từ aws.amazon.com
Tích hợp NVIDIA Resiliency Extension (NVRx) vào huấn luyện PyTorch FSDP trên Amazon EKS để chồng lấn I/O checkpoint với quá trình huấn luyện và phục hồi sự cố GPU trong vài giây. Bài viết trình bày checkpoint bất đồng bộ, khởi động lại trong quá trình và ft_launcher khởi động lại trong cùng công việc, kèm bảng chuẩn H100 từ 2 đến 8 nút cho thấy hiệu suất huấn luyện trên 99% và thời gian phục hồi ở mức giây.
Đọc bài gốcĐăng nhập để góp ý
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay