Bespoke đã nộp 25 báo cáo bug và các pull request liên quan để khắc phục các lỗi trong benchmark TerminalBench 4.0 AI mà agent nội bộ của công ty xác định. Một đợt kiểm toán sơ bộ của SnorkelAI ghi nhận khoảng 55% các fix do team Preference Model đề xuất để sửa lỗ hổng của benchmark lại có vấn đề, do các vấn đề về tính quá quy định hoặc các khoảng trống mới cho phép reward hacking. Sự giám sát này diễn ra sau báo cáo của Preference Model xác định 325 vấn đề trên 60 trong số 65 tasks của benchmark, bao gồm 44 vấn đề có thể giải quyết bằng exploit như dịch chuyển mô phỏng robot về phía trước. Mặc dù các fix được báo cáo ban đầu cho phép model Sonnet đạt điểm 89,2%, đánh giá của SnorkelAI lưu ý rằng 40% các vấn đề được xác định đã được theo dõi trong repository của benchmark, bao gồm 21 tasks còn yêu cầu fix.
Nguồn chính
- SOURCE@chem_safety“After fixing the issues Sonnet 5.5 scores 89.2%. So, TerminalBench is already mostly saturated.”x.com
- SUPPORT@chem_safety“Of the 65 tasks: 60 tasks had at least one issue 44 could be passed by cheating / reward hacking 41 tasks were unfair, e.g. grading on unstated requirements 325 issues in total”x.com
- SOURCE@ajratner“We agree with many of the findings, but ~55% of the fixes from @preferencemodel had their own issues with reward hacking or over-prescriptiveness.”x.com
- SUPPORT@madiator“Bespoke has found several issues using our internal QC agent, and has been working on improving Terminal Bench over the months. Here are the 25 issues we filed, and there are PRs corresponding to them.”x.com
- SOURCE@madiator“We have an internal QA system which has been finding issues as well, and we have submitted several fixes to Terminal Bench”x.com
- SUPPORT@scaling01“44 could be passed by cheating / reward”x.com
- SUPPORT@rebeccatqian“Building datasets like this - and maintaining ambitious open benchmarks around them - is hard.”x.com
- SUPPORT@teortaxestex“we're running out of benchmarks too quickly”x.com