Benchmark là một số đo thực nghiệm theo độ khó

Một benchmark không chỉ đơn thuần là một tập hợp các câu hỏi kiểm tra; nó tự nhiên tạo ra một số đo thực nghiệm theo độ khó. Trong công trình này, chúng tôi phát triển quan điểm dựa trên số đo này về đánh giá benchmark. Quan điểm này cho phép chúng tôi xác định và chính thức hóa hai dạng thất bại trung tâm: sự bất khớp số đo, nơi phân phối độ khó của benchmark khác với phân phối độ khó dự định, và khoảng trống phạm vi, nơi các khu vực chưa được phủ lên trục độ khó ngăn benchmark phát hiện tiến bộ huấn luyện có ý nghĩa. Chúng tôi đề xuất hai chỉ số chẩn đoán để nắm bắt hai dạng thất bại này và cung cấp các bảo đảm lý thuyết nghiêm ngặt. Một cách thực nghiệm, chúng tôi phân tích 25 benchmark phổ biến trải rộng qua 7 lĩnh vực bằng cách ước tính cẩn thận độ khó của từng mục. Kết quả cho thấy nhiều benchmark ngụ ý cân nặng quá mức các khu vực độ khó nhất định, vì vậy kết luận trên bảng xếp hạng nên được giải thích một cách thận trọng; những benchmark khác để lại phần lớn trục độ khó chưa được phủ, giới hạn khả năng theo dõi quá trình cải thiện mô hình.