Cùng output, khác gold: Đo lường cách lựa chọn reference làm thay đổi điểm benchmark đa ngôn ngữ

Điểm benchmark so sánh system output với một reference, trong đó giới chuyên môn thường chỉ tập trung vào vế đầu. Nghiên cứu này đo lường vế thứ hai. Dữ liệu chú thích được lưu trữ của một benchmark 6 ngôn ngữ về thông tin nhận dạng cá nhân gồm 2 nhãn từ chuyên gia chú thích độc lập, bản tổng hợp được chọn làm gold, cùng một bản gold do chuyên gia đánh giá độc lập chú thích lại trên một mẫu. Dựa vào đó, nhóm nghiên cứu giữ nguyên scored output và thay đổi reference. Điểm thay đổi 4,95 điểm F1 cho một output và 2,00 điểm cho output kia (với khoảng tin cậy 95% lần lượt là [3,23, 6,27] và [0,26, 3,37]), thậm chí lệch tới 7,55 ở ngôn ngữ tệ nhất. Phép so sánh giữa hai output cũng thay đổi: tương tác ghép đôi giữa reference và system đạt +2,95 điểm (khoảng tin cậy [+1,97, +3,87]), vẫn có ý nghĩa sau khi hiệu chỉnh kiểm định đa tầng và làm thay đổi hoàn toàn khoảng chênh lệch của một ngôn ngữ. Nguyên nhân xuất phát từ một mặc định tổng hợp không được ghi chép, vốn thường giữ nguyên một chuyên gia chú thích khi không qua phân xử, khiến bản reference phát hành trở thành một bản sao một phần của output đang được chấm điểm.