Các mô hình AI lập trình hàng đầu đạt dưới 50% trên benchmark FrontierCode mới của Cognition

Cognition đã ra mắt một bài đánh giá mới cho các kỹ sư phần mềm AI, ưu tiên tính "có thể hòa nhập" của mã nguồn hơn là độ chính xác chức năng cơ bản. Benchmark FrontierCode 2.0 sử dụng các prompt kỹ thuật chưa được chỉ định rõ ràng để kiểm tra xem các AI agent có thể đưa ra lựa chọn thiết kế đúng đắn hay không, với các mô hình hàng đầu trong ngành thất bại hơn một nửa số bài kiểm tra. Claude Opus 5.5 ghi nhận tỷ lệ thành công cao nhất với 45,5%, trong khi GPT-6 Astra theo sau với điểm số 42,8%.

Mỗi nhiệm vụ trong benchmark đều được phát triển bởi các người duy trì mã nguồn mở với hơn 40 giờ làm việc cho mỗi nhiệm vụ, và công ty đã từ chối 80% các bản nộp ban đầu để đảm bảo một mức chuẩn chất lượng cao hơn. Cognition lưu ý rằng việc tăng khả năng suy luận của một mô hình không phải lúc nào cũng tương quan với kết quả tốt hơn; GPT-6 Astra đã vượt qua 5 trên 5 lần thử với suy luận thấp trên một lỗi cụ thể, nhưng chỉ 1 trên 5 ở chế độ tối đa, nơi nó vô tình xóa một API công cộng.