AI Factories là những môi trường vận hành công nghệ phức tạp nhất từng được tạo ra. Hàng trăm ngàn GPU, NVIDIA Spectrum-X Ethernet scale-out, các mạng scale-across và scale-in, NVIDIA NVLink scale-up fabrics, các bộ lên lịch phân tán và các vòng huấn luyện kéo dài hàng tuần hoạt động đồng bộ liên tục. Những lớp này hoạt động như một hệ thống sản xuất duy nhất ngay cả khi các nhóm khác nhau sở hữu telemetry của riêng họ. Trong huấn luyện phân tán đồng bộ, một công việc tiến triển ở tốc độ của rank chậm nhất. Một GPU bị suy giảm, giao diện, thiết bị lưu trữ hoặc đường truyền switch nào đó có thể lãng phí thời gian hữu ích trên nhiều tài nguyên khỏe mạnh khác. Những thất bại gây giảm yield thường là nhẹ nhàng: một GPU chạy nóng hơn một vài độ so với các thiết bị đồng hạng. Một thiết bị NVMe mất hiệu suất chỉ dưới tải kéo dài. Một switch tạo ra cơn bão pause-frame trông giống như hàng chục dấu hiệu không liên quan. Không có tín hiệu nào trong số này nhất thiết vượt qua ngưỡng tĩnh. Cùng lại, chúng tạo ra các straggler, thời gian bước kéo dài và checkpoint bị trì hoãn. Chẩn đoán trở nên khó khăn hơn vì bằng chứng bị chia cắt giữa các nhóm. Các quản trị viên mạng thấy bộ đếm giao diện và sự kiện fabric. Các quản trị viên tính toán thấy sức khỏe node và GPU. Các nhóm ML thấy thời gian bước thay đổi, công việc thất bại hoặc độ trễ inference không ổn định. Mỗi quan điểm đều chính xác, nhưng mối quan hệ giữa chúng vẫn bị ẩn giấu. Quy trình phân loại trở thành một chuỗi tìm kiếm dashboard và bàn giao liên nhóm, có thể biến một lỗi được kiểm soát thành hàng giờ hoặc ngày sản xuất mất trước khi node hoặc đường truyền fabric bị ảnh hưởng được xác định.
Nguồn chính
- SOURCEdeveloper.nvidia.com