---
format: "aidr-story-markdown/v1"
id: "34e01d4a0b8b50d01c6622cf8394a13ee74abb2e70d07c97103e3a04d75d9953"
canonical_url: "https://aidr.today/34e01d4a?lang=vi"
title: "SnorkelAI tìm ra 55% lỗi trong TerminalBench 4.0 AI"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-10-26T18:25:49.000Z"
category: "Models"
topics: ["anthropic","llm","agent"]
source_urls: ["https://marketbrief.now/ai/update-snorkelai-finds-55percent-of-terminalbench-40-ai-fixes-are-flawed-17ce3193","https://x.com/chem_safety/status/2112212878132744674","https://x.com/chem_safety/status/2112212879734947937","https://x.com/ajratner/status/2112678199104844241","https://x.com/madiator/status/2112721419906032104","https://x.com/madiator/status/2112572866332164116","https://x.com/scaling01/status/2112357861355352124","https://x.com/rebeccatqian/status/2112684238965514286"]
summary: "Bespoke đã nộp 25 báo cáo bug và các pull request liên quan để khắc phục các lỗi trong benchmark TerminalBench 4.0 AI mà agent nội bộ của công ty xác định. Một đợt kiểm toán sơ bộ của SnorkelAI ghi nhận khoảng 55% các fix do team Preference Model đề xuất để sửa lỗ hổng của benchmark lại có vấn đề, do các vấn đề về tính quá quy định hoặc các khoảng trống mới cho phép reward hacking. Sự giám sát này diễn ra sau báo cáo của Preference Model xác định 325 vấn đề trên 60 trong số 65 tasks của benchmark, bao gồm 44 vấn đề có thể giải quyết bằng exploit như dịch chuyển mô phỏng robot về phía trước. Mặc dù các fix được báo cáo ban đầu cho phép model Sonnet đạt điểm 89,2%, đánh giá của SnorkelAI lưu ý rằng 40% các vấn đề được xác định đã được theo dõi trong repository của benchmark, bao gồm 21 tasks còn yêu cầu fix."
---

# SnorkelAI tìm ra 55% lỗi trong TerminalBench 4\.0 AI

> [Open the canonical story](<https://aidr.today/34e01d4a?lang=vi>)

**Published:** 2026-10-26T18:25:49.000Z
**Category:** Models
**Topics:** anthropic, llm, agent

## Summary

Bespoke đã nộp 25 báo cáo bug và các pull request liên quan để khắc phục các lỗi trong benchmark TerminalBench 4\.0 AI mà agent nội bộ của công ty xác định\. Một đợt kiểm toán sơ bộ của SnorkelAI ghi nhận khoảng 55% các fix do team Preference Model đề xuất để sửa lỗ hổng của benchmark lại có vấn đề, do các vấn đề về tính quá quy định hoặc các khoảng trống mới cho phép reward hacking\. Sự giám sát này diễn ra sau báo cáo của Preference Model xác định 325 vấn đề trên 60 trong số 65 tasks của benchmark, bao gồm 44 vấn đề có thể giải quyết bằng exploit như dịch chuyển mô phỏng robot về phía trước\. Mặc dù các fix được báo cáo ban đầu cho phép model Sonnet đạt điểm 89,2%, đánh giá của SnorkelAI lưu ý rằng 40% các vấn đề được xác định đã được theo dõi trong repository của benchmark, bao gồm 21 tasks còn yêu cầu fix\.

## Sources

- [Story source](<https://marketbrief.now/ai/update-snorkelai-finds-55percent-of-terminalbench-40-ai-fixes-are-flawed-17ce3193>)
- [Story source](<https://x.com/chem_safety/status/2112212878132744674>)
- [Supporting source](<https://x.com/chem_safety/status/2112212879734947937>)
- [Story source](<https://x.com/ajratner/status/2112678199104844241>)
- [Supporting source](<https://x.com/madiator/status/2112721419906032104>)
- [Story source](<https://x.com/madiator/status/2112572866332164116>)
- [Supporting source](<https://x.com/scaling01/status/2112357861355352124>)
- [Supporting source](<https://x.com/rebeccatqian/status/2112684238965514286>)