Xác thực So sánh, không chỉ Trình chấm điểm: Tại sao Độ chính xác tổng thể có thể gây nhầm lẫn trong Đánh giá LLM tương tác

Nhiều nghiên cứu LLM so sánh cách các mô hình trả lời các prompt tiếp theo khác nhau. Ví dụ, một prompt có thể trung lập yêu cầu mô hình cân nhắc lại, trong khi prompt khác khẳng định một bộ phim hư cấu thực sự tồn tại. Sự khác biệt này được dùng để đo lường tác động của áp lực hội thoại. Một trình chấm điểm tự động sau đó gán nhãn xem phản hồi nào đưa ra một nhận định sai lầm không được hỗ trợ. Các nhà nghiên cứu thường xác thực trình chấm điểm bằng một điểm độ chính xác tổng thể hoặc điểm số F1. Tuy nhiên, hiệu suất tổng thể cao có thể giấu đi những sai lầm cụ thể cho từng prompt: nếu trình chấm điểm mắc nhiều lỗi hơn sau một prompt, sự chênh lệch đo được có thể quá lớn, quá nhỏ, hoặc chỉ ra hướng sai. Một cuộc kiểm toán chủ yếu chứa các phản hồi khó có thể cũng sai lệch hiệu suất trong toàn bộ nghiên cứu. Chúng tôi phân tích cách những sai lỗi này thay đổi một phép so sánh prompt và điều tra vấn đề bằng sáu mô hình, 180 câu hỏi thực thể hư cấu, và sáu điều kiện prompt. Trong một cuộc kiểm toán cân bằng 288 phản hồi, F1 tổng thể là 0.916.