InnovationEval của Epoch AI phát hiện AI agent chưa tự động hóa được nghiên cứu

Các AI agent đạt kết quả đáng thất vọng khi được giao nhiệm vụ tạo ra bước đột phá kỹ thuật trong bài kiểm tra mới do Epoch AI Research phát triển. Benchmark mang tên InnovationEval đo lường khả năng tạo ra các cải tiến sau huấn luyện tương đương quy mô tiến bộ của con người gần đây, nhằm xác định ngành công nghệ đang ở đâu trên con đường xây dựng một nhà nghiên cứu AI tự động. Epoch AI Research mô tả hiệu năng của các agent là kém ấn tượng. Dù những người chỉ trích các bài kiểm tra kiểu này thường viện dẫn việc dùng các mô hình cũ hoặc baseline yếu, nhóm nghiên cứu cho thấy một điểm nhấn trong phát hiện của họ nhằm giải quyết chính xác các mối lo đó.