Chạy inference DLA native bằng Python trên NVIDIA Jetson AGX Orin dùng cuDLA

Các ứng dụng AI tại biên thường cần chạy nhiều neural network trong giới hạn về tính toán và năng lượng. Các nền tảng NVIDIA Deep Learning Accelerator (DLA) cung cấp phần cứng chuyên dụng cho inference deep learning. Trên NVIDIA Jetson AGX Orin, DLA thực hiện các phép toán neural network được hỗ trợ, cho phép ứng dụng chuyển giao công việc inference khỏi GPU. Điều này giúp cải thiện hiệu suất năng lượng và giữ dung lượng GPU cho các tác vụ ứng dụng khác. NVIDIA cuDLA là API runtime để quản lý việc thực thi trên accelerator này. Ứng dụng dùng nó để tạo thiết bị DLA, tải các network đã biên dịch, đăng ký bộ đệm bộ nhớ và gửi tác vụ inference. Module cuda.bindings.cudla phơi bày các API này trực tiếp tới Python, giúp nhà phát triển tích hợp việc thực thi DLA vào ứng dụng mà không cần viết code C++ để quản lý runtime. Bài viết này đi qua vòng đời inference trên Jetson AGX Orin bằng ví dụ phân loại ảnh. Nó tóm tắt việc cài đặt và biên dịch model thành DLA loadable, sau đó mô tả quá trình thực thi từ tạo thiết bị và tải network đến quản lý buffer, đồng bộ hóa thực thi và đọc output. Ví dụ cũng cho thấy GPU và DLA hoạt động cùng nhau trong một ứng dụng Python duy nhất. Các thành phần được giữ lại bao gồm DLA, NVIDIA, AGX, cuDLA, AI, GPU, API, Python, Jetson, Orin.