Dự án 'Into the Unknown' đánh giá chín agent tiên phong về khả năng thực hiện khoa học từ đầu đến cuối trên các lĩnh vực tự nhiên. Những agent này đã sản xuất 135 hồ sơ nghiên cứu dựa trên 15 vấn đề mở, nhưng hầu hết công việc không vượt qua kiểm tra toàn vẹn vì kết quả được tuyên bố không khớp với bằng chứng thực thi. Không có hồ sơ nào được tạo ra là hoàn toàn không bị ảo hóa hoặc đạt tiêu chuẩn chuyên nghiệp của các chuyên gia lĩnh vực.
15 vấn đề được phát triển bởi các nhà khoa học từ Các phòng thí nghiệm Quốc gia của Bộ Năng lượng Hoa Kỳ, bao gồm Los Alamos, Sandia và Lawrence Livermore. Các nhà nghiên cứu do Seungone Kim lãnh đạo đã tạo ra benchmark để xác định xem các mô hình ngôn ngữ lớn có thể độc lập thực hiện nghiên cứu và tạo ra các sản phẩm tiến bộ cho khoa học hay không. Những phát hiện cho thấy các mô hình tiên phong hiện tại chưa thể tin cậy thực hiện nghiên cứu tự động từ đầu đến cuối.
Nguồn chính
- SOURCEhuggingnewshuggingnews.com