Cách DOCA GPUNetIO hợp nhất mạng do GPU khởi xướng trên toàn bộ stack phần mềm của NVIDIA

Các ứng dụng GPU ngày càng đòi hỏi mạng và việc chuyển động dữ liệu phải hoạt động như các thao tác do GPU kiểm soát trực tiếp thay vì dịch vụ do host điều khiển. Khi CPU đứng giữa mọi giao dịch mạng, nó biến thành điểm nghẽn trên đường tới hạn, làm tăng độ trễ và hạn chế hiệu quả phản hồi thời gian thực của các ứng dụng phân tán. NVIDIA DOCA GPUNetIO, một lớp SDK mạng mang tính GPU-centric để xử lý gói tin và chuyển động dữ liệu thời gian thực, giải quyết vấn đề này một cách trực tiếp. Nó kết hợp các công nghệ như GPUDirect RDMA, GPUDirect Async Kernel-Initiated (GDA-KI) và GDRCopy để các kernel CUDA có thể trực tiếp điều khiển các thao tác Ethernet, RDMA, Verbs và DMA mà không cần CPU tham gia vào đường tới hạn của ứng dụng. Cụ thể, DOCA GPUNetIO cung cấp cả hai tính năng: Kể từ lần đầu NVIDIA giới thiệu việc xử lý gói tin mang tính GPU-centric với DOCA GPUNetIO, framework này đã trưởng thành đáng kể, phát triển từ một công cụ mạnh mẽ giúp loại bỏ CPU khỏi đường tới hạn thành một nền tảng GDA-KI hợp nhất được tích hợp trên NVSHMEM, NCCL, Aerial 5G SDK, UCX / NIXL, NVQLink cùng toán tử Holoscan Sensor Bridge operator, Holoscan Advanced Network Operator, DeepEP / HybridEP và các công nghệ khác. Bài viết này đề cập đến những điểm mới gồm thư viện mã nguồn mở, kiến trúc hợp nhất và cách các tích hợp này hoạt động trong thực tế.