Research17.11.2026 · 07:001 nguồn
PaperCritic: Huấn luyện AI reviewer để đánh giá tính chặt chẽ của các bài báo khoa học
Từ huggingface.co
Trong bối cảnh số lượng bài nộp tại các hội nghị AI tăng trưởng nhanh chóng, việc dùng AI reviewer đang được xem xét như một giải pháp thay thế. Tuy nhiên, việc chỉ đơn thuần bắt chước cách đánh giá của con người sẽ gặp vấn đề vì quy trình này phục vụ nhiều mục đích, bao gồm đánh giá tính chặt chẽ, tính thú vị và độ rõ ràng của bài báo, trong đó hai yếu tố sau mang tính chủ quan. Trong nghiên cứu này, nhóm tác giả chỉ tập trung vào việc đánh giá tính chặt chẽ — tiêu chí quan trọng và khách quan nhất — đồng thời xác định mục tiêu học tập là tối đa hóa đồng thời (1) độ chính xác (precision), dựa trên tính chặt chẽ và thực chất của các điểm đánh giá, và (2) độ triệu hồi (recall), tức mức độ bao phủ các điểm đánh giá tham chiếu chất lượng cao. Với cách đặt vấn đề này, nhóm tác giả xây dựng bộ dữ liệu điểm đánh giá được gắn nhãn chất lượng PaperSound-23K, sử dụng 1.000 bài nộp từ ICLR cùng 23.000 điểm đánh giá do con người viết và LLM-generated. Thông qua bộ dữ liệu này, nhóm tác giả huấn luyện mô hình AI reviewer mang tên PaperCritic bằng phương pháp reinforcement learning với phần thưởng là điểm F1 của độ chính xác và độ triệu hồi. Các thử nghiệm cho thấy PaperCritic vượt trội hơn các frontier model và các mô hình được huấn luyện bằng các phương pháp huấn luyện AI reviewer khác trên bộ kiểm tra cùng miền (in-domain).
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay