AI coding agent vẫn cần con người chỉnh sửa trong gần 3 trên 4 tác vụ tại thử nghiệm thực tế

Co-Design Bench, một benchmark dành cho coding-agent mới của Alibaba, kiểm tra các AI agent dựa trên những yêu cầu thực tế của người dùng vốn đã từng gây khó khăn cho chúng trong thực tế. Ngay cả GPT-6 Astra, mô hình có hiệu suất cao nhất, cũng chỉ giải quyết hoàn toàn 26,4% tác vụ. Trong khi đó, trên các benchmark cũ, cùng các mô hình này lại đạt điểm số trên 99%.