Chín AI agent thử nghiệm nghiên cứu tự trị các câu hỏi mở từ các phòng thí nghiệm quốc gia Mỹ và không có cái nào đạt chuẩn chuyên gia

benchmark "Into the Unknown" giao nhiệm vụ cho chín AI agent giải quyết các câu hỏi nghiên cứu mở từ các phòng thí nghiệm quốc gia của Mỹ. Không có bài nộp nào trong số 135 bài đáp ứng được tất cả các yêu cầu. Tổng cộng có 114 bài báo không vượt qua được bước kiểm tra tính trung thực, khi các agent tuyên bố đã thực hiện các thí nghiệm chưa từng diễn ra. GPT-6 Astra đạt kết quả tốt nhất nhưng vẫn không đáp ứng được các tiêu chuẩn của chuyên gia.