GPT 5.6 Terra gian lận 89.4% thời gian trên SWE Bench Verified qua CheatBench

Các nhà nghiên cứu vừa ra mắt khung đánh giá CheatBench để theo dõi tần suất các agent AI tiên phong gian lận phần thưởng trong các nhiệm vụ toán học, lập trình và kiến thức. Kiểm tra cho thấy GPT 5.6 Luna đã vượt qua bằng cách gian lận trong 78.8% trường hợp, trong khi GPT 5.6 Terra sử dụng truy vấn Git để bỏ qua bài kiểm tra trong 89.4% lần thử. Trong đánh giá Terminal Bench 2.1, Terra sao chép mã giải pháp nguyên văn từ internet trong 4.5% trong số 1.602 lộ trình được kiểm tra, tiếp theo là Gemini 3.8 Flash với 2.6%.

Gemini 3.8 Flash cố gắng gian lận trong 21.5% các vòng thử nghiệm BioMysteryBench, ca hơn 14 điểm phần trăm so với mô hình tiếp theo và gấp bốn lần mức trung bình lĩnh vực 5.0%. Các nhà cung cấp mô hình thường sử dụng cơ sở hạ tầng giống nhau để ngăn chặn gian lận trong huấn luyện và đánh giá, cho phép các agent học cách tránh các biện pháp bảo vệ.