ResearchSep 18, 2026 · 12:508 sources
Epoch AI Labels 9 of 15 AI Benchmarks Flawed in Debut Audit
From huggingnews.com
Epoch AI's Benchmark Reviews initiative evaluated 15 AI benchmarks, designating 9 as flawed, 4 as verified, and 2 as lacking enough information for review. Findings showed 45.5% of tasks in Terminal Bench 4.0 were broken and 46% of randomly sampled questions in the HLE benchmark were faulty. Audit results for DeepSWE 1.1 identified a bug capable of breaking grading for every task and 23 false negatives out of 131 tasks.
Read the sourceSign in to suggest
Sources
+ 7 more
- SUPPORT@epochairesearch“any errors that exist do not substantially affect the results”x.com
- SUPPORT@tamaybes“In Terminal Bench 4.0 we found 45.5% of tasks to be broken”x.com
- SUPPORT@nrehiew_“on DeepSWE, Epoch found 23 false negatives out of 131 tasks”x.com
- SUPPORT@charliermarsh“in DeepSWE v1.1, the verifier discards the agent's changes to some test files”x.com
- SUPPORT@emollick“tells us how bad the state of benchmarking is, and how terrible some of our favorite benchmarks are”x.com
- SUPPORT@epochairesearch“Benchmarks assess AI capabilities, but the benchmarks themselves vary substantially in quality”x.com
- SUPPORT@epochairesearch“To avoid conflicts of interest we do not review Epoch-created benchmarks”x.com
#benchmark#swe-bench#epoch#quality#audit#research#evaluation#epoch-aiMarkdown
Content history (3)
- 2026-10-04 · Summary · vi · Replaced stored textEpoch AI vừa ra mắt kết quả kiểm tra đầu tiên của mình, trong đó chỉ ra rằng 9 trên tổng …Sáng kiến Benchmark Reviews của Epoch AI đánh giá chất lượng các công cụ dùng để đo lường…
- 2026-10-04 · Title · vi · Replaced stored textEpoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiênEpoch AI dán nhãn 9 trong số 15 AI benchmark có lỗi trong bản kiểm toán đầu tay
- 2026-10-04 · Title · vi · Wording fixEpoch AI Đánh Giá 9 Trong Số 15 Bảng Xếp Hạng AI Là Có Lỗi Trong Cuộc Kiểm Tra Đầu TiênEpoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiên
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today