Huấn luyện các mô hình AI quy mô lớn trên hàng ngàn GPU là hoạt động rất quan trọng, nơi giám sát và tự động hóa phải được tích hợp để tối ưu hóa khả năng chịu lỗi và thời gian hoạt động của cụm. Khái niệm này không mới với các nhà vận hành trung tâm dữ liệu, người đã đo lường MTTR và MTBF lâu trước khi nhà máy AI tồn tại. Giờ đây, rủi ro cao hơn. Các nhà máy AI hiện đại chạy công việc huấn luyện phân tán trên hàng trăm nút trong vài ngày hoặc tuần, và ở quy mô này, mô hình vận hành thay đổi: các bất thường phần cứng, lỗi phần mềm, thời gian chờ mạng và tranh chấp tài nguyên phải được quản lý chủ động để giữ cho công việc diễn ra đúng tiến độ. Các cách tiếp cận truyền thống dựa trên can thiệp thủ công, lưu trữ điểm dừng tĩnh và giám sát phản ứng không thể mở rộng khi các tổ chức chạy hàng chục công việc đa nút đồng thời này trên cơ sở hạ tầng chung. Đây là lý do tại sao các dịch vụ phần mềm, như động cơ phục hồi tự động trong NVIDIA Mission Control, là then chốt để mở rộng quy mô AI sản xuất. Trước đây, động cơ phục hồi tự động, có khả năng phát hiện, chẩn đoán và phục hồi từ các bất thường trên toàn ngăn xếp, chỉ giới hạn cho công việc HPC sử dụng Slurm. Với phần của Mission Control 2.5, dịch vụ này hiện đã được mở rộng cho công việc Kubernetes-based được quản lý bằng NVIDIA Run:ai.
Nguồn chính
- SOURCEdeveloper.nvidia.com