SO-arena benchmarking the capability spectrum and reliability of system one models

Các System One models hứa hẹn khả năng ra quyết định nhanh, đa dụng mà không cần tạo ra nhiều token. Tuy nhiên, để hiểu rõ phổ năng lực và độ tin cậy quyết định của chúng, cần nhiều hơn là hiệu suất tổng hợp trên các benchmark hiện tại. Các đánh giá sẵn có thường chỉ cung cấp cái nhìn hạn chế về phạm vi năng lực của mô hình và độ tin cậy trong quyết định. Nhóm tác giả giới thiệu SO-Arena, một benchmark mô tả phổ năng lực và độ tin cậy quyết định của System One models trên 11 domain và năm capability families. Đối với phổ năng lực, SO-Arena cung cấp đánh giá dựa trên bằng chứng thông qua các nguồn đáng tin cậy và xác minh thủ công các nhãn tham chiếu so với các input mà mô hình nhìn thấy; đánh giá năng lực chi tiết thông qua tiêu chí độ khó riêng của domain; và đánh giá tương tác thực tế, nơi các mô hình thực hiện hành động lặp đi lặp lại trong sandbox. Các tác vụ đòi hỏi nhiều reasoning cho phép so sánh system one-two. Ngoài độ chính xác, SO-Arena còn đánh giá độ tin cậy quyết định qua hai thước đo bổ sung: độ ổn định quyết định khi thay đổi tập tùy chọn có kiểm soát và khả năng nhận diện câu trả lời bị thiếu khi không có tùy chọn hợp lệ.