Infra02.10.2026 · 00:591 nguồn

Xây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX

Từ developer.nvidia.com

Ảnh: developer.nvidia.com
AI;DR

Việc đưa các mô hình AI vào ứng dụng cục bộ đòi hỏi một định dạng mô hình di động, một runtime đáng tin cậy và khả năng tăng tốc hoạt động trơn tru trên nhiều hệ thống mục tiêu. Do Inference Now (DIN) Deploy là bộ sưu tập mã nguồn mở gồm các mẫu C++ thiết thực giúp thu hẹp khoảng cách đó. Nó kết hợp ONNX Runtime với execution provider NVIDIA TensorRT RTX để hỗ trợ nhà phát triển chuyển từ model checkpoint sang ứng dụng native được tăng tốc phần cứng trên Windows và Linux. Cùng một ONNX Runtime API đó cũng có thể được truy cập thông qua WinML 2.0. Mỗi mẫu DIN Deploy đều bắt đầu bằng một Python exporter chuyên tải về model checkpoint từ Hugging Face rồi chuyển đổi thành một ONNX artifact. Phía ứng dụng là một native C++ CLI xây dựng dựa trên ONNX Runtime (ORT). Sự phân chia này giúp tách bạch công đoạn chuyển đổi mô hình khỏi logic triển khai, nhờ đó nhà phát triển có thể đưa mô hình đã xuất vào ứng dụng cục bộ mà không cần đến runtime riêng cho từng mô hình. Đa phần mã nguồn mẫu đều sử dụng session và tensor API của ONNX Runtime viết bằng C++. Riêng mã nguồn đặc thù của nhà cung cấp, gồm các CUDA API và kernel, chỉ xuất hiện trong những đường dẫn tăng tốc tùy chọn. Các execution provider hỗ trợ ONNX Runtime tensor API bắt buộc đều có thể chạy chung mã nguồn này. Copy tensor API của ORT giúp quản lý tính cục bộ của dữ liệu một cách dễ dàng mà không cần dùng đến API riêng của nhà cung cấp trong phần mã nguồn chung.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#nvidia#inference#dgx-spark#64gb#local-ai#chips#infraBản Markdown
Lịch sử nội dung (6)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
    Việc đưa các mô hình AI vào ứng dụng cục bộ đòi hỏi một định dạng mô hình di động, một ru…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Xây dựng ứng dụng AI cục bộ với C++ và NVIDIA TensorRT RTX Samples
    Xây dựng ứng dụng AI cục bộ với C++ và các mẫu NVIDIA TensorRT RTX
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Xây dựng các ứng dụng AI cục bộ bằng C++ và NVIDIA TensorRT RTX Samples.
    Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
    Xây dựng các ứng dụng AI cục bộ bằng C++ và NVIDIA TensorRT RTX Samples.
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Thêm mô hình AI vào ứng dụng địa phương cần định dạng mô hình có tính di động, runtime đá…
    Hướng dẫn cách xây dựng các ứng dụng AI chạy cục bộ bằng ngôn ngữ C++ thông qua các mẫu N…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Xây dựng ứng dụng AI địa phương với C++ và NVIDIA TensorRT RTX Samples
    Xây dựng ứng dụng AI cục bộ với C++ và NVIDIA TensorRT RTX Samples

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay