Cortex: Hợp nhất context vào parametric memory

Context có thể cải thiện hiệu suất của LLM, nhưng những lợi ích này có thể bị mất đi sau khi loại bỏ context. Lấy cảm hứng từ quá trình củng cố hệ thống sinh học, chúng tôi xây dựng khái niệm Memory Consolidation (MC) như một cách nội hóa các lợi ích này trong khi vẫn bảo toàn các khả năng không mục tiêu, kết nối việc chỉnh sửa theo context, học kỹ năng và điều hướng hành vi dưới một mục tiêu chung. Chúng tôi giới thiệu một môi trường thử nghiệm gồm năm nhóm tác vụ để đo lường khả năng consolidation và retention dưới các hình thức cập nhật đơn lẻ, theo lô và tuần tự. Chúng tôi đề xuất Cortex, hệ thống tạo ra các truy vấn tiềm năng để dự đoán việc sử dụng context và chưng cất các đầu ra phụ thuộc vào context thành các bản cập nhật mạng feed-forward cấu trúc hoặc low-rank có thể hợp nhất. Trên các kiến trúc dense và MoE từ 4B đến 120B, bao gồm cả mô hình chỉ văn bản và multimodal, Cortex nằm trên đường biên Pareto giữa consolidation và retention trong hầu hết các thiết lập được đánh giá. Sau 50 lần chỉnh sửa dữ kiện tuần tự trên mô hình 14B, Cortex-Structural khôi phục được 88,9% lợi ích do context mang lại trong khi vẫn giữ được 99,8% hiệu suất gốc của các phần không mục tiêu.