--- format: "aidr-story-markdown/v1" id: "7ff8deb6c282f363de1a7c06ee139aefc4b04e32bef922306b6d212fb5511dfc" canonical_url: "https://aidr.today/7ff8deb6?lang=vi" title: "Parsewave sửa 206 lỗi benchmark Zapier để tính lại 28% điểm số của Kimi" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-06T22:24:38.000Z" category: "Models" topics: ["llm"] source_urls: ["https://marketbrief.now/ai/parsewave-fixes-206-zapier-benchmark-bugs-to-revise-28percent-of-kimi-gr-ad46118c","https://huggingnews.com/ai/parsewave-fixes-206-zapier-benchmark-bugs-to-revise-28percent-of-kimi-gr-ad46118c"] summary: "Parsewave kiểm tra toàn bộ 600 tác vụ công khai trong AutomationBench của Zapier nhằm thử xem bộ kiểm tra có bị đánh lừa bởi đáp án sai hay không. Đơn vị kiểm định dùng các agent để tạo ra những câu trả lời có vẻ hợp lý nhưng thực chất là sai, qua đó phát hiện 206 lỗi và sau đó sửa lại trong bản phát hành mang tên AutomationBench Verified. Lúc Parsewave chạy lại 1.235 lượt của mô hình Kimi K3 với bộ chấm điểm mới cập nhật, 344 mục trong số đó, tương đương 27,9%, nhận được mức điểm khác. Cuộc kiểm định cho thấy độ lệch lớn về độ chính xác của bộ chấm điểm, khi tỷ lệ vượt qua một số tác vụ tăng từ 18,8% lên 43,8% sau khi sửa các bộ kiểm tra quá khắt khe. Ngược lại, tỷ lệ này giảm từ 60,2% xuống 49,7% ở những nơi bộ chấm điểm quá dễ dãi. Có trường hợp bài nộp không dùng mẫu GDPR và HIPAA bắt buộc nhưng vẫn đạt điểm tuyệt đối 1,0 cho đến khi bản cập nhật hạ điểm xuống 0,09. Những phát hiện này ảnh hưởng đến độ tin cậy của các phòng nghiên cứu frontier lab từng viện dẫn AutomationBench trên bảng thông tin mô hình của họ." --- # Parsewave sửa 206 lỗi benchmark Zapier để tính lại 28% điểm số của Kimi > [Open the canonical story]() **Published:** 2026-10-06T22:24:38.000Z **Category:** Models **Topics:** llm ## Summary Parsewave kiểm tra toàn bộ 600 tác vụ công khai trong AutomationBench của Zapier nhằm thử xem bộ kiểm tra có bị đánh lừa bởi đáp án sai hay không\. Đơn vị kiểm định dùng các agent để tạo ra những câu trả lời có vẻ hợp lý nhưng thực chất là sai, qua đó phát hiện 206 lỗi và sau đó sửa lại trong bản phát hành mang tên AutomationBench Verified\. Lúc Parsewave chạy lại 1\.235 lượt của mô hình Kimi K3 với bộ chấm điểm mới cập nhật, 344 mục trong số đó, tương đương 27,9%, nhận được mức điểm khác\. Cuộc kiểm định cho thấy độ lệch lớn về độ chính xác của bộ chấm điểm, khi tỷ lệ vượt qua một số tác vụ tăng từ 18,8% lên 43,8% sau khi sửa các bộ kiểm tra quá khắt khe\. Ngược lại, tỷ lệ này giảm từ 60,2% xuống 49,7% ở những nơi bộ chấm điểm quá dễ dãi\. Có trường hợp bài nộp không dùng mẫu GDPR và HIPAA bắt buộc nhưng vẫn đạt điểm tuyệt đối 1,0 cho đến khi bản cập nhật hạ điểm xuống 0,09\. Những phát hiện này ảnh hưởng đến độ tin cậy của các phòng nghiên cứu frontier lab từng viện dẫn AutomationBench trên bảng thông tin mô hình của họ\. ## Sources - [Story source]() - [Story source]()