GPT-6-astra đạt 53.6% trên benchmark Humanity's Sixth Sense mới

Scale AI và Elorian AI vừa tung ra một phương pháp đánh giá đa phương thức để đo lường khả năng điều hướng hình ảnh và video của AI bằng trực quan con người hàng ngày. Dự án mang tên Humanity's Sixth Sense dùng 522 bài tập mở để kiểm tra khả năng suy luận không gian, nhân quả và xã hội. Trong các kết quả ban đầu, mô hình AI trung vị đạt 30.9%, trong khi con người đạt trung bình 93.1%.

GPT-6-astra là mô hình đạt điểm cao nhất trong bài kiểm tra nhưng chỉ dừng ở mức 53.6%. Người đồng sáng tạo Andrew Dai lưu ý rằng benchmark này phơi bày một điểm mù: các mô hình có thể viết code chuyên nghiệp lại không nhận ra các sự kiện trực quan cơ bản, chẳng hạn như việc một chiếc giá sách còn chỗ cho cuốn sách nữa hay không.