Research18.09.2026 · 12:508 nguồn

Epoch AI dán nhãn 9 trong số 15 AI benchmark có lỗi trong bản kiểm toán đầu tay

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Sáng kiến Benchmark Reviews của Epoch AI đánh giá chất lượng các công cụ dùng để đo lường năng lực trí tuệ nhân tạo. Đợt đánh giá đầu tiên với 15 benchmark đã chỉ ra 9 benchmark có lỗi, trong khi 4 được xác thực và 2 thiếu thông tin để đánh giá. Các phát hiện cho thấy 45,5% tác vụ trong Terminal Bench 4.0 bị hỏng và 46% câu hỏi chọn mẫu ngẫu nhiên trong benchmark HLE cũng có lỗi. Kết quả kiểm toán cho DeepSWE 1.1 đã phát hiện một lỗi có khả năng làm hỏng việc chấm điểm cho mọi tác vụ và 23 kết quả âm tính giả trong tổng số 131 tác vụ, tạo ra một mức trần hiệu suất nhân tạo là 79,6%. Bộ xác thực trong benchmark đó loại bỏ các thay đổi của agent đối với một số tệp kiểm tra mà không thông báo cho mô hình, dẫn đến các lỗi không liên quan. Epoch AI công bố toàn bộ đánh giá cho tất cả các benchmark đã xác thực nhằm tạo ra một tiêu chuẩn chất lượng nhất quán và thúc đẩy các tiêu chuẩn ngành cao hơn.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 7 nguồn khác
  1. SUPPORT@epochairesearch“any errors that exist do not substantially affect the results”x.com
  2. SUPPORT@tamaybes“In Terminal Bench 4.0 we found 45.5% of tasks to be broken”x.com
  3. SUPPORT@nrehiew_“on DeepSWE, Epoch found 23 false negatives out of 131 tasks”x.com
  4. SUPPORT@charliermarsh“in DeepSWE v1.1, the verifier discards the agent's changes to some test files”x.com
  5. SUPPORT@emollick“tells us how bad the state of benchmarking is, and how terrible some of our favorite benchmarks are”x.com
  6. SUPPORT@epochairesearch“Benchmarks assess AI capabilities, but the benchmarks themselves vary substantially in quality”x.com
  7. SUPPORT@epochairesearch“To avoid conflicts of interest we do not review Epoch-created benchmarks”x.com
#benchmark#swe-bench#epoch#quality#audit#research#evaluation#epoch-aiBản Markdown
Lịch sử nội dung (3)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Epoch AI vừa ra mắt kết quả kiểm tra đầu tiên của mình, trong đó chỉ ra rằng 9 trên tổng …
    Sáng kiến Benchmark Reviews của Epoch AI đánh giá chất lượng các công cụ dùng để đo lường…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Epoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiên
    Epoch AI dán nhãn 9 trong số 15 AI benchmark có lỗi trong bản kiểm toán đầu tay
  • 2026-10-04 · Tiêu đề · vi · Sửa câu chữ
    Epoch AI Đánh Giá 9 Trong Số 15 Bảng Xếp Hạng AI Là Có Lỗi Trong Cuộc Kiểm Tra Đầu Tiên
    Epoch AI đánh giá 9 trong số 15 bảng xếp hạng AI là có lỗi trong cuộc kiểm tra đầu tiên

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay