MisconceptDialogue: Các tiêu chí đánh giá định hình thành công đo lường được trong việc dạy toán của LLM

Các mô hình ngôn ngữ lớn ngày càng được dùng làm giáo viên dạy toán, đưa ra hai câu hỏi: một LLM có thể phát hiện lỗi của học sinh, chẩn đoán sai lầm nền tảng và khắc phục qua đối thoại đa lượt - và chúng ta có thể tin tưởng những con số báo cáo mức độ hoạt động tốt không? Chúng tôi giải quyết cả hai bằng MISCONCEPTDIALOGUE, một khung tự động hoàn toàn chạy toàn bộ pipeline trên năm mô hình giáo viên open-weight LLM (7B-14B) tương tác với học sinh được mô phỏng bởi LLM qua 5.000+ đối thoại - một giao thức mô phỏng cố ý (điều kiện ghép đôi, điều khiển chẩn đoán sai không an toàn với người học thực sự, quy mô) mà kết quả không chứng minh được học tập của học sinh thực sự. Về phép đo, phát hiện chính của chúng tôi khiến lĩnh vực không thoải mái: điểm số đối chiếu khớp chính xác theo phong cách benchmark phổ biến trong toán học NLP - một bài kiểm tra áp lực giới hạn dưới - báo cáo Tỷ lệ Thành công Khắc phục được đo lường là 42,1% trên cùng một đối thoại nơi LLM-as-judge được hiệu chuẩn bởi con người báo cáo 81,3%, chênh lệch 39,2 phần nghìn lớn hơn tổng hợp của hiệu ứng mô hình giáo viên, chiến lược dạy học và thông tin chẩn đoán cung cấp.