Infra02.10.2026 · 00:591 nguồn
Xây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX
Từ developer.nvidia.com
Việc đưa các mô hình AI vào ứng dụng cục bộ đòi hỏi một định dạng mô hình di động, một runtime đáng tin cậy và khả năng tăng tốc hoạt động trơn tru trên nhiều hệ thống mục tiêu. Do Inference Now (DIN) Deploy là bộ sưu tập mã nguồn mở gồm các mẫu C++ thiết thực giúp thu hẹp khoảng cách đó. Nó kết hợp ONNX Runtime với execution provider NVIDIA TensorRT RTX để hỗ trợ nhà phát triển chuyển từ model checkpoint sang ứng dụng native được tăng tốc phần cứng trên Windows và Linux. Cùng một ONNX Runtime API đó cũng có thể được truy cập thông qua WinML 2.0. Mỗi mẫu DIN Deploy đều bắt đầu bằng một Python exporter chuyên tải về model checkpoint từ Hugging Face rồi chuyển đổi thành một ONNX artifact. Phía ứng dụng là một native C++ CLI xây dựng dựa trên ONNX Runtime (ORT). Sự phân chia này giúp tách bạch công đoạn chuyển đổi mô hình khỏi logic triển khai, nhờ đó nhà phát triển có thể đưa mô hình đã xuất vào ứng dụng cục bộ mà không cần đến runtime riêng cho từng mô hình. Đa phần mã nguồn mẫu đều sử dụng session và tensor API của ONNX Runtime viết bằng C++. Riêng mã nguồn đặc thù của nhà cung cấp, gồm các CUDA API và kernel, chỉ xuất hiện trong những đường dẫn tăng tốc tùy chọn. Các execution provider hỗ trợ ONNX Runtime tensor API bắt buộc đều có thể chạy chung mã nguồn này. Copy tensor API của ORT giúp quản lý tính cục bộ của dữ liệu một cách dễ dàng mà không cần dùng đến API riêng của nhà cung cấp trong phần mã nguồn chung.
Nguồn
Lịch sử nội dung (6)
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuHướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…Việc đưa các mô hình AI vào ứng dụng cục bộ đòi hỏi một định dạng mô hình di động, một ru…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuXây dựng ứng dụng AI cục bộ với C++ và NVIDIA TensorRT RTX SamplesXây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuXây dựng các ứng dụng AI cục bộ bằng C++ và NVIDIA TensorRT RTX Samples.Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuHướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…Xây dựng các ứng dụng AI cục bộ bằng C++ và NVIDIA TensorRT RTX Samples.
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuThêm mô hình AI vào ứng dụng địa phương cần định dạng mô hình có tính di động, runtime đá…Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuXây dựng ứng dụng AI địa phương với C++ và NVIDIA TensorRT RTX SamplesXây dựng ứng dụng AI cục bộ với C++ và NVIDIA TensorRT RTX Samples
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay