Cấu hình chứng nhận và vận hành cluster GPU với NVIDIA DSX OS

Một GPU hoạt động kém có thể làm chậm toàn bộ công việc training phân tán. Node có thể vượt qua các kiểm tra sức khỏe cơ bản và hiển thị mức sử dụng bình thường, khiến người vận hành chỉ phát hiện vấn đề sau khi workload đang chạy. Những vấn đề này có thể xuất hiện ở bất kỳ giai đoạn nào trong vòng đời của cluster. Một cluster GPU vượt qua các kiểm tra sẵn sàng khi bàn giao sẽ thay đổi khi các node được thay thế, driver được vá và dung lượng được thêm vào. Nếu không có xác thực lặp lại, chứng nhận ban đầu không còn phản ánh tình trạng của cluster. Khoảng trống về khả năng hiển thị này lãng phí compute trên các node lỗi và khiến các node khỏe mạnh bị nhàn rỗi vì thận trọng. Các chỉ số utilization có thể che giấu những tổn thất này. Goodput, tức là khối lượng công việc hoàn thành thành công, cung cấp thước đo hiệu quả cluster hữu ích hơn. Duy trì sự sẵn sàng của cluster đòi hỏi xác thực xuyên suốt vòng đời vận hành của cluster—sau khi thay đổi cấu hình, khi dung lượng tăng và trước khi các node đã sửa chữa trở lại dịch vụ. NVIDIA DSX AI Factory Platform tập hợp các công nghệ để thiết kế, xây dựng và vận hành các AI factory hiệu quả, kiên cường. Lớp phần mềm mã nguồn mở của nó, NVIDIA DSX OS, bao gồm các công cụ để cấu hình, chứng nhận và duy trì sức khỏe của cơ sở hạ tầng Kubernetes được tăng tốc.