Phát hiện và phục hồi lỗi hỏng dữ liệu thầm lặng trên Amazon SageMaker HyperPod

Lỗi hỏng dữ liệu thầm lặng là lỗi GPU trả về các con số sai nhưng hợp lý mà không báo lỗi, làm hỏng âm thầm quá trình training phân tán. Bài viết này bổ sung ba kiểm tra vào vòng lặp PyTorch DDP để phát hiện lỗi, xác định node bị lỗi trên Amazon SageMaker HyperPod và chuyển node đó cho cơ chế tự động phục hồi để thay thế.