Huấn luyện phân tán với Ray Train DLCs và EFA trên EKS

Ray Train Deep Learning Container mang theo toàn bộ stack CUDA-through-EFA nên không cần xây dựng image. Bài viết này trình bày một mẫu có thể tái tạo để fine-tune Qwen2.5-1.5B bằng PyTorch FSDP trên tám GPUs trên hai instance g6.12xlarge được EFA-enabled trên Amazon EKS, sử dụng container y hệt như đã công bố, với các thành phần Ray Train DLCs và EFA.