Khuyến khích tự học trong LLMs bằng reinforcement learning

Các LLMs tận dụng kiến thức tham số và RAG để giải quyết các tác vụ chuyên sâu về kiến thức. Tuy nhiên, giải quyết vấn đề trong các lĩnh vực không quen thuộc đòi hỏi việc thu thập kiến thức và reasoning gắn kết chặt chẽ, vượt ra ngoài việc truy xuất và tổng hợp sự kiện hay chỉ học từ một context được lắp sẵn. Nhóm tác giả nghiên cứu về tự học, tức là tự động truy xuất, nghiên cứu và áp dụng kiến thức từ các tài liệu tham khảo dài ngay lập tức. Để điều tra khả năng này, nhóm tác giả xây dựng một nhiệm vụ giải quyết vấn đề toán học dựa trên sách giáo khoa. LLMs phải điều hướng phần trình bày sách giáo khoa, học và áp dụng các nguyên tắc liên quan, đồng thời xây dựng các chứng minh cho các bài tập, trong khi các lời giải tham khảo được giữ lại. Nhóm tác giả giới thiệu giao diện BookNavigator để hỗ trợ quy trình học lấy cảm hứng từ con người này và khuyến khích tự học thông qua RL với các phần thưởng chi tiết. Các thí nghiệm cho thấy phương pháp của nhóm tác giả cải thiện hiệu suất trên các sách giáo khoa và chủ đề trong và ngoài miền, nâng độ chính xác chứng minh tổng thể của Intern-S2-Preview-35B từ 51,5% lên 79,5% và vượt trội hơn các baseline được huấn luyện bằng RL mà không có sách giáo khoa và có truy xuất cố định.