Chạy mô hình AI cho phát triển ứng dụng biên chỉ với vài lệnh

NVIDIA TensorRT Edge-LLM giúp dễ dàng bắt đầu phát triển AI cho thiết bị nhúng trên nền tảng NVIDIA DGX Spark 64GB. AI đang mở rộng ra ngoài trung tâm dữ liệu khi các nhà phát triển xây dựng thế hệ agent mới để hoạt động ở biên: giám sát sự chú ý của người lái và điều kiện cabin, giúp robot hiểu môi trường và lập kế hoạch nhiệm vụ, cũng như điều phối đội robot trên dây chuyền sản xuất. Những ứng dụng AI vật lý này phụ thuộc vào các mô hình nhận thức, suy luận và hành động trong ngân sách bộ nhớ, năng lượng và độ trễ hẹp. Nhưng chuẩn bị một mô hình để chạy có thể đòi hỏi thiết lập phức tạp. NVIDIA DGX Spark, hiện có sẵn với cấu hình 64GB, cung cấp nền tảng cho các nhà phát triển nhúng để prototype, fine-tune và kiểm thử mô hình cũng như agent. NVIDIA TensorRT Edge-LLM cung cấp một inference runtime bằng C++ nhẹ, được thiết layout cho khối lượng công việc nhúng, mang framework suy diễn này đến phát triển trên Spark và triển khai trên các nền tảng như NVIDIA Jetson Thor, NVIDIA DRIVE AGX Thor và NVIDIA IGX Thor. Bạn có thể bắt đầu chỉ với vài lệnh bằng giao diện dòng lệnh trtedge (CLI). Nó sẽ tải mô hình bạn chọn và xây dựng engine TensorRT tối ưu cho inference trên Spark. Trong hướng dẫn này, bạn sẽ chạy NVIDIA Nemotron-3.5 Lightning, một mô hình chỉ văn bản, trên Spark bằng TensorRT Edge-LLM. Bạn sẽ kiểm thử prompt trong terminal và phục vụ mô hình qua API để prototype ứng dụng. Bạn cũng sẽ kích hoạt DSpark speculative decoding để tăng tốc sinh tạo.