Research16.11.2026 · 12:001 nguồn
Truy vết Knowledge và Reasoning trong LLM
Từ arxiv.org
Các đánh giá hiện tại về LLMs báo cáo hiệu suất ở cấp độ tập dữ liệu hoặc nhiệm vụ, cho thấy mô hình đạt được gì nhưng ít cung cấp cái nhìn sâu sắc về quá trình xử lý nội bộ liên quan đến hiệu suất đó. Nhóm tác giả đề xuất một framework lấy nhiệm vụ làm trung tâm để mô tả quá trình xử lý nội bộ của mô hình được gợi ra bởi một benchmark. Nó kết hợp các tín hiệu dựa trên attention và activation với các thước đo dựa trên representation để mô tả các benchmark trải dài từ thống trị retrieval đến thống trị reasoning và làm nổi bật các chế độ thất bại mà điểm cấp nhiệm vụ che giấu. Nhóm tác giả đánh giá 16 LLMs trên 24 benchmark đa dạng và tiến hành phân tích trạng thái nội bộ có mục tiêu trên các mô hình và nhiệm vụ đại diện, quan sát sự khác biệt có hệ thống trong xử lý giữa các nhiệm vụ tập trung vào Knowledge và tập trung vào Reasoning. Nhóm tác giả chuyển việc đánh giá từ việc hỏi mô hình đạt điểm bao nhiêu sang mô tả các mẫu xử lý liên quan đến điểm đó, có khả năng hỗ trợ lựa chọn benchmark có mục tiêu hơn và lựa chọn mô hình sáng suốt hơn. Nhóm tác giả mở mã nguồn tại https://github.com/extraordinarylab/trace-kr.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay