ResearchSep 18, 2026 · 12:508 sources

Epoch AI Labels 9 of 15 AI Benchmarks Flawed in Debut Audit

From huggingnews.com

Image: huggingnews.com
AI;DR

Epoch AI's Benchmark Reviews initiative evaluated 15 AI benchmarks, designating 9 as flawed, 4 as verified, and 2 as lacking enough information for review. Findings showed 45.5% of tasks in Terminal Bench 4.0 were broken and 46% of randomly sampled questions in the HLE benchmark were faulty. Audit results for DeepSWE 1.1 identified a bug capable of breaking grading for every task and 23 false negatives out of 131 tasks.

Read the sourceSign in to suggest

Sources

+ 7 more
  1. SUPPORT@epochairesearch“any errors that exist do not substantially affect the results”x.com
  2. SUPPORT@tamaybes“In Terminal Bench 4.0 we found 45.5% of tasks to be broken”x.com
  3. SUPPORT@nrehiew_“on DeepSWE, Epoch found 23 false negatives out of 131 tasks”x.com
  4. SUPPORT@charliermarsh“in DeepSWE v1.1, the verifier discards the agent's changes to some test files”x.com
  5. SUPPORT@emollick“tells us how bad the state of benchmarking is, and how terrible some of our favorite benchmarks are”x.com
  6. SUPPORT@epochairesearch“Benchmarks assess AI capabilities, but the benchmarks themselves vary substantially in quality”x.com
  7. SUPPORT@epochairesearch“To avoid conflicts of interest we do not review Epoch-created benchmarks”x.com
#benchmark#swe-bench#epoch#quality#audit#research#evaluation#epoch-aiMarkdown
Content history (3)
  • 2026-10-04 · Summary · vi · Replaced stored text
    Epoch AI vừa ra mắt kết quả kiểm tra đầu tiên của mình, trong đó chỉ ra rằng 9 trên tổng …
    Sáng kiến Benchmark Reviews của Epoch AI đánh giá chất lượng các công cụ dùng để đo lường…
  • 2026-10-04 · Title · vi · Replaced stored text
    Epoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiên
    Epoch AI dán nhãn 9 trong số 15 AI benchmark có lỗi trong bản kiểm toán đầu tay
  • 2026-10-04 · Title · vi · Wording fix
    Epoch AI Đánh Giá 9 Trong Số 15 Bảng Xếp Hạng AI Là Có Lỗi Trong Cuộc Kiểm Tra Đầu Tiên
    Epoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiên

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today