ResearchSep 26, 2026 · 04:052 sources
LLMs Repeat 96% of JEV Confident Errors and Undermine Evaluation Cascades
From marketbrief.now
Experiments on TypeSafe AI's JEV decision judge found that large language models repeated 96% of the judge's most confident errors, compared to about 50% for independent errors, indicating that cascading low-confidence outcomes to a more powerful model does not significantly improve accuracy when the initial judge is confident in its mistake. JEV reportedly maintains 99% of GPT-6 Astra's accuracy on 510 preference pairs at 57% of the cost, costing $0.044 per 1,000 judgments with a median latency of 0.152 seconds versus GPT-6's $12.182 and 1.885 seconds, though its accuracy drops to 78.6% on JudgeBench compared to 93.1% for GPT-6.
Read the sourceSign in to suggest
Sources
#llmMarkdown
Content history (2)
- 2026-10-04 · Summary · vi · Replaced stored textNghiên cứu mới cho thấy các mô hình LLM lớn đã lặp lại tới 96% số lỗi tự tin từ tập dữ li…Thử nghiệm trên một decision model mới của TypeSafe AI phát hiện các lỗi tương quan giữa …
- 2026-10-04 · Title · vi · Replaced stored textLLMs lặp lại 96% lỗi tự tin của JEV và làm suy yếu các vòng đánh giáLLM lặp lại 96% lỗi tự tin của JEV và làm suy yếu chuỗi đánh giá
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today