Research16.08.2026 · 14:37
Điều gì xảy ra khi một LLM không bao giờ được tiếp cận kiến thức vượt quá trình độ lớp 5?
Từ littlelearner-ll.github.io
Các mô hình ngôn ngữ dưới sự kiểm soát kiến thức theo phương pháp sư phạm: Một LLM chỉ biết những gì một học sinh lớp 5 biết. Nghiên cứu từ các tác giả Li, Zeller, Prada-Corral, Wiedemer, Mayilvahanan, Cotterell và Brendel thuộc MPI for Intelligent Systems, ELLIS Institute Tübingen và ETH Zürich. Mô hình 5B được host trực tiếp trên trình duyệt của bạn. Lưu ý nghiên cứu: Mô hình này không được thiết kế hoặc căn chỉnh an toàn cho trẻ em mà chỉ dành cho mục đích nghiên cứu học thuật. Các LMs hiện đại được huấn luyện trên mọi thứ cùng một lúc, nên rất khó để biết liệu một kỹ năng mới được học hay chỉ đơn thuần là được gợi mở. Chúng tôi giới hạn chính phân phối huấn luyện: một corpus 88B-token được lọc theo chương trình tiểu học của Mỹ, với các mô hình được huấn luyện từ đầu trên đó và các nhóm đối chứng Unfiltered tương ứng. Corpus 88B-token này được chắt lọc từ FineWeb-Edu thông qua quy trình lọc 5 giai đoạn tuân theo các tiêu chuẩn Common Core (từ lớp K đến Grade 5). Các khái niệm, sự thật và từ vựng được dạy trên Grade 5 đều bị loại bỏ hoàn toàn. Ba quy mô (0.6B / 1.3B / 5B) được huấn luyện từ đầu trên LittleCurriculum: các mô hình có thể trò chuyện với ranh giới kiến thức có thể giải thích được. Mỗi mô hình đều đi kèm với một nhóm đối chứng Unfiltered để so sánh chính xác.
Nguồn
Lịch sử nội dung (4)
- 2026-10-17 · Tóm tắt · vi · Thay nội dung đã lưuChuyện gì sẽ xảy ra nếu một LLM không bao giờ được tiếp cận với các tài liệu vượt quá trì…Các mô hình ngôn ngữ dưới sự kiểm soát kiến thức theo phương pháp sư phạm: Một LLM chỉ bi…
- 2026-10-17 · Tiêu đề · vi · Thay nội dung đã lưuĐiều gì xảy ra khi một LLM không bao giờ được tiếp cận tài liệu vượt quá trình độ lớp 5?Điều gì xảy ra khi một LLM không bao giờ được tiếp cận kiến thức vượt quá trình độ lớp 5?
- 2026-10-17 · Tóm tắt · vi · Thay nội dung đã lưuChuyện gì sẽ xảy ra nếu một LLM không bao giờ được tiếp cận với các tài liệu vượt quá trì…
- 2026-10-17 · Tiêu đề · vi · Thay nội dung đã lưuChuyện gì xảy ra nếu một LLM chỉ được học kiến thức dưới trình độ lớp 5?Điều gì xảy ra khi một LLM không bao giờ được tiếp cận tài liệu vượt quá trình độ lớp 5?
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay