Llama.cpp ra mắt ứng dụng Windows cho AI địa phương trên Nvidia RTX Spark

Nhóm phát triển công cụ chạy mô hình mã nguồn mở phổ biến đã tạo ra một công cụ mới để thực thi AI một cách bản địa trên máy tính cá nhân. Được đặt tên thương hiệu là Llama Windows, phần mềm cho phép người dùng trò chuyện với các mô hình thông qua giao diện thanh hệ thống và duy trì quyền riêng tư dữ liệu bằng cách giữ tất cả prompt trên máy local thay vì trên các máy chủ bên ngoài. Ứng dụng bao gồm các tối ưu phần cứng cụ thể cho Nvidia RTX Spark và tích hợp với Hugging Face để cho phép người dùng duyệt và tải xuống mô hình. Bằng cách tận dụng khung llama.cpp, công cụ đơn giản hóa quá trình cài đặt và vận hành trọng số AI local cho người dùng Windows.