Xây dựng một Runtime Kubernetes được xác thực cho NVIDIA Dynamo

Các nhóm phát triển ứng dụng AI cần một con đường có thể lặp lại từ cấu hình mô hình đến một endpoint inference hoạt động. NVIDIA Dynamo là một framework inference phân tán điều phối việc phục vụ mô hình trên các worker GPU. Triển khai trên Kubernetes chỉ là bước đầu tiên. Một triển khai mô hình thành công cần thêm nhiều thứ: driver GPU, phân bổ tài nguyên, lên lịch, mạng và giám sát phải hoạt động cùng nhau. Giải quyết những phụ thuộc này tốn thời gian cho việc kiểm tra hành vi mô hình, hiệu suất phục vụ và tích hợp ứng dụng. Nền tảng AI Factory Platform của NVIDIA DSX mang lại các công nghệ để giúp hệ sinh thái thiết kế, xây dựng và vận hành các nhà máy AI hiệu quả hơn, và Dynamo là một phần trong số đó. Để dễ dàng quản lý những phụ thuộc hạ tầng này, nền tảng chứa NVIDIA AI Cluster Runtime (AICR). Nó đóng gói NVIDIA Dynamo và hạ tầng hỗ trợ vào các công thức đã được xác thực. Mỗi công thức định nghĩa một cấu hình cho một môi trường và khối lượng công việc cụ thể, bao gồm các phiên bản thành phần được ghim, ràng buộc tương thích và kiểm tra xác thực. AICR cung cấp cho các nhóm nền tảng một cách có thể lặp lại để triển khai và kiểm tra runtime, cung cấp cho các nhà phát triển một nền tảng nhất quán để phục vụ mô hình và kiểm tra ứng dụng.