TypeSafe AI ra mắt mô hình Jev không sinh token, xử lý 140.000 người trong danh sách chờ chỉ sau 36 giờ
Models15 ngày trướcMô hình AI mới Jev của TypeSafe AI sử dụng kiến trúc phi sinh (non-generative), trả lời các câu hỏi có cấu trúc bằng cách xử lý song song thay vì sinh từng token như các mô hình truyền thống. Sau khi ra mắt, TypeSafe AI đã cấp quyền truy cập cho 140.000 người trên danh sách chờ trong vòng 36 giờ, với hệ thống cung cấp lựa chọn có kiểu và điểm tin cậy. Hiện nay, Jev có sẵn thông qua Vercel AI Gateway, hỗ trợ các nhà phát triển đang xây dựng agent cần tốc độ định tuyến hoặc chấm điểm cao.
Dữ liệu triển khai cho thấy giảm 71% chi phí và 90% thời gian hoàn thành cho một quy trình giao hàng thực tế. Trong một bài kiểm tra khác, Jev được sử dụng để phân loại 1.018 bài báo nghiên cứu với chi phí chỉ $0.08 và độ trễ trung bình 256 mili giây cho mỗi tài liệu. TypeSafe AI cho biết Jev hoạt động nhanh hơn 20 đến 200 lần và rẻ hơn 40 đến 400 lần so với các mô hình sinh văn bản, nhờ loại bỏ lớp token tuần tự truyền thống.
Nguồn chính
- SOURCE@completeskeptic“we've jev-ed 140k off the waitlist (our platform team trying hard to get EVERYONE off ASAP)”x.com
- SUPPORT@kunchenguid“the saving from Jev still resulted in a -71% reduction in cost and -90% reduction in wall time of completing the whole dispatching process”x.com
- SUPPORT@completeskeptic“I used Jev to classify 1,018 AI research papers. The result: $0.08 total cost and 256ms median end-to-end latency per paper”x.com
- SUPPORT@completeskeptic“results of using jev on one of our security pipelines. we already have to use smaller (and dumber) models”x.com
- SOURCE@ctatedev“Input $0.04/M”x.com
- SUPPORT@rauchg“Jev is up to 18x faster (p95) *and* more accurate. It's coming to @vercel AI Gateway and likely new default.”x.com
- SUPPORT@rauchg“Jev is now available on the @vercel AI Gateway”x.com
- SOURCEmarketbrief.now