Claude Opus 5.5 dẫn đầu bài kiểm tra hợp nhất mã AI đầu tiên với số điểm 52%

Artificial Analysis công bố kết quả FrontierCode 1.1, một bài đánh giá nội bộ do Cognition tạo ra nhằm xem xét liệu mã do AI tạo ra có thực sự được chấp nhận vào kho lưu trữ phần mềm thực tế hay không. Chín mô hình từ sáu phòng thí nghiệm đạt điểm từ 43% đến 52%, trong đó Claude Opus 5.5 (bản tối đa có dự phòng) của Anthropic đạt điểm cao nhất. Dù dẫn đầu, các mô hình nói chung vẫn thất bại hơn 40% số nhiệm vụ và chín trong số 100 mục thuộc bộ chính không được mô hình nào vượt qua. MiMo-V2.6-Pro là mô hình open-weight đứng đầu với tỷ lệ thành công 45%.

Bộ dữ liệu được phát triển với sự tham gia của các nhà bảo trì mã nguồn mở dành hơn 40 giờ cho mỗi nhiệm vụ để thiết lập các bài kiểm tra chất lượng và đơn vị cho khả năng hợp nhất. GPT-6.1 Sol (bản tối đa) của OpenAI cho thấy hiệu suất tốt nhất so với chi phí, đạt 49% với mức giá 0,81 USD mỗi nhiệm vụ, so với 10,15 USD của Claude Opus 5.5 dẫn đầu. Các mô hình GPT-6 cũng thể hiện hiệu quả token cao hơn, với các phiên bản Astra và Sol đạt trung bình lần lượt 27k và 33k token đầu ra cho mỗi nhiệm vụ, trong khi Claude Sonnet 5.5 đạt trung bình 236k token.