Research29.08.2026 · 12:375 nguồn

Terminal Bench 4.0 ra mắt 66 tác vụ mới nhằm đánh giá chuyên sâu AI agent

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Các nhà phát triển vừa cập nhật bộ dữ liệu và bảng xếp hạng Terminal-Bench lên phiên bản 4.0 để bám sát tốc độ phát triển của các mô hình AI hiện nay. Bản cập nhật này bao gồm 66 tác vụ thuộc nhiều lĩnh vực như khoa học, phần mềm, ML, vận hành, bảo mật, phần cứng và truyền thông. Đặc biệt, một nhánh mới mang tên Terminal-Bench-Science cũng được thêm vào để đánh giá khả năng thực hiện quy trình nghiên cứu của các AI agent. Kết quả ban đầu cho thấy Opus 5 vượt qua Fable 5, trong khi GLM 5.3 dẫn đầu ở phân khúc mô hình mã nguồn mở.

Ryan Marten và Steven Dillmann thực hiện bản cập nhật này nhằm hiệu chỉnh lại các giả định về tài nguyên tác vụ trên bảng xếp hạng. Việc mở rộng quy mô diễn ra trong bối cảnh các kỹ thuật post-training đang dần bắt kịp các tình huống sử dụng thực tế, giúp thu hẹp khoảng cách hiệu suất giữa các mô hình từ các lab khác ngoài OpenAI hay Anthropic.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 4 nguồn khác
  1. SUPPORT@himanshustwts“GLM 5.3 is best open source model out there sharing very close boundary with Fable 5”x.com
  2. SUPPORT@zixuanli_“pushed a version update to the Terminal-Bench dataset and leaderboard”x.com
  3. SUPPORT@andykonwinski“benchmark for evaluating AI agents on research workflows across scientific do…”x.com
  4. SUPPORT@jun_song“Those benchmark scores are from before the nerfs, and right now both are heavily degraded”x.com

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay