Huấn luyện phân tán chịu lỗi trên Amazon EKS bằng NVRx

Tích hợp NVIDIA Resiliency Extension (NVRx) vào huấn luyện PyTorch FSDP trên Amazon EKS để chồng lấn I/O checkpoint với quá trình huấn luyện và phục hồi sự cố GPU trong vài giây. Bài viết trình bày checkpoint bất đồng bộ, khởi động lại trong quá trình và ft_launcher khởi động lại trong cùng công việc, kèm bảng chuẩn H100 từ 2 đến 8 nút cho thấy hiệu suất huấn luyện trên 99% và thời gian phục hồi ở mức giây.