Models20.09.2026 · 12:368 nguồn
TypeSafe Jev dẫn đầu bảng xếp hạng mô hình quyết định JevBench với điểm số 75,3
Từ huggingnews.com
Chỉ số JevBench đánh giá các mô hình AI tạo ra quyết định phần mềm có giới hạn thay vì văn bản mở, bằng cách kết hợp trí thông minh, hiệu chuẩn, tốc độ và chi phí. Mô hình Jev của TypeSafe đứng đầu với 75,3 điểm, theo sau là SemIf #2 với 74,6. Bảng xếp hạng sử dụng trung bình hình học để ưu tiên khả năng triển khai, cho phép Jev vượt qua các mô hình như GPT-5.6 Luna, vốn có độ chính xác thô cao hơn nhưng thời gian phản hồi chậm hơn hoặc chi phí vận hành cao hơn.
Các nhà phát triển đang áp dụng mô hình quyết định này cho việc xác minh agent và đánh giá trực tuyến để giảm sự phụ thuộc vào các khung suy luận đắt tiền. Jev có chi phí 0,064 USD cho 600 phán quyết trong một bài kiểm tra người dùng, rẻ hơn khoảng 90 lần so với chi phí 5 USD của Sonnet của Anthropic. Tuy nhiên, vẫn tồn tại các sự đánh đổi về hiệu suất, với Jev cho thấy tỷ lệ chấp nhận sai là 32%...
Nguồn
+ 4 nguồn khác
- SUPPORT@sydneyrunkle“jev as a Judge proves to be a cheaper and more precise alternative to LLM as a judge for online evals”x.com
- SUPPORT@omarsar0“It checks whether the goal is actually complete after every turn, making continuous verification cheap enough to scale”x.com
- SUPPORT@jasonlk“roughly 90× cheaper on identical inputs”x.com
- SUPPORT@airesearch12“SemIf #2 at 74.6”x.com
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay