Các mô hình Clef và Clef-Flash hiện đã có sẵn để triển khai cục bộ trên phiên bản mới nhất của công cụ suy luận llama.cpp. Bản cập nhật này, được phát hành dưới dạng v0.6.0, giới thiệu hỗ trợ multimodal cho các decision model và bao gồm các cải tiến hiệu suất cho Metal API nhằm tăng tốc thực thi trên thiết bị phần cứng Apple. Người dùng giờ đây có thể phục vụ các mô hình này bằng một lệnh llama serve duy nhất để phân tích hình ảnh và văn bản.
Công cụ này tận dụng một điểm cuối /v1/systemone cho suy luận kiểu Jev, cho phép các agent định tuyến ticket, kiểm duyệt nội dung hoặc xếp hạng tùy chọn bằng cách cung cấp xác suất mà không cần tạo văn bản. Dự án hỗ trợ nhiều mô hình mở khác nhau từ 144M đến 27B tham số. Thử nghiệm từ cộng đồng cho thấy mô hình Laya 421M tham số hoạt động gần bằng Qwen 4B trong khi tốc độ nhanh gấp 12 lần.
Lịch sử nội dung (2)
- 2026-10-08 · Tóm tắt · vi · Thay nội dung đã lưuLlama.cpp vừa phát hành phiên bản v0.6.0 với tính năng hỗ trợ decision model đa phương th…Các mô hình Clef và Clef-Flash hiện đã có sẵn để triển khai cục bộ trên phiên bản mới nhấ…
- 2026-10-08 · Tiêu đề · vi · Thay nội dung đã lưuLlama.cpp hỗ trợ multimodal decision model trong phiên bản v0.6.0Llama.cpp hỗ trợ multimodal decision model trong v0.6.0
Nguồn chính
- SOURCE@ngxson“already 5 open models supported, from 144M to 27B”x.com
- SOURCE@ggerganov“The /v1/systemone endpoint is available in the latest llama builds”x.com
- SUPPORT@mervenoyann“new Llama.cpp release ships with (multimodal!) Jev-like models support, performance upgrade for Metal and more!”x.com
- SUPPORT@vanstriendaniel“Decision models now run on device in llama.cpp. Free, fast, private!”x.com
- SUPPORT@victormustar“tried Laya (421M) on llama.cpp in a little apple-picking benchmark, it's almost as good as Qwen 4B at 12x the speed”x.com
- SUPPORT@lucataco“You can now run Clef via llama.cpp!”x.com
- SUPPORT@calebfahlgren“run the popular open jev alternatives via llama.cpp! it's also compatible with @typesafeai sdk”x.com
- SUPPORT@fffiloni“Give Julia-1 a situation: it ranks options, estimates a yes/no probability, and scores an ordered scale. No generated text.”x.com