ResearchSep 26, 2026 · 04:052 sources

LLMs Repeat 96% of JEV Confident Errors and Undermine Evaluation Cascades

From marketbrief.now

Image: marketbrief.now
AI;DR

Experiments on TypeSafe AI's JEV decision judge found that large language models repeated 96% of the judge's most confident errors, compared to about 50% for independent errors, indicating that cascading low-confidence outcomes to a more powerful model does not significantly improve accuracy when the initial judge is confident in its mistake. JEV reportedly maintains 99% of GPT-6 Astra's accuracy on 510 preference pairs at 57% of the cost, costing $0.044 per 1,000 judgments with a median latency of 0.152 seconds versus GPT-6's $12.182 and 1.885 seconds, though its accuracy drops to 78.6% on JudgeBench compared to 93.1% for GPT-6.

Read the sourceSign in to suggest

Sources

#llmMarkdown
Content history (2)
  • 2026-10-04 · Summary · vi · Replaced stored text
    Nghiên cứu mới cho thấy các mô hình LLM lớn đã lặp lại tới 96% số lỗi tự tin từ tập dữ li…
    Thử nghiệm trên một decision model mới của TypeSafe AI phát hiện các lỗi tương quan giữa …
  • 2026-10-04 · Title · vi · Replaced stored text
    LLMs lặp lại 96% lỗi tự tin của JEV và làm suy yếu các vòng đánh giá
    LLM lặp lại 96% lỗi tự tin của JEV và làm suy yếu chuỗi đánh giá

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today