Research01.10.2026 · 21:51
Context Language Models
Từ arxiv.org
Chúng tôi giới thiệu Context Language Models (CLM), các mô hình ngôn ngữ có khả năng tự quản lý context một cách tự nhiên. Giải pháp này được thực hiện bằng cách coi context như một tệp tin và cho phép mô hình cập nhật tệp này không giới hạn. Nhờ đó, mô hình có thể học được những thông tin quan trọng nhất cần duy trì trong context, đồng thời mở rộng tự nhiên sang các hệ thống multi-agent nơi context của nhiều agent cùng tồn tại dưới dạng các tệp tin. Việc xây dựng CLM zero-shot với các mô hình hiện có cho kết quả vượt trội hơn các chiến lược quản lý context SOTA trên nhiều tác vụ: độ chính xác cao hơn 11,4% với FLOPs giảm 21,5% trên BrowseComp-Plus, điểm số cao hơn 5% với FLOPs giảm 59% trên EdgeBench 12 giờ, và cải thiện mạnh hơn 65% với cùng mức tính toán trong tác vụ agent-swarm đa kho lưu trữ kéo dài 24 giờ. Hơn nữa, bằng cách chuyển việc quản lý context từ điều khiển bằng harness bên ngoài sang hành vi nội tại của mô hình, CLM cho phép học các chiến lược quản lý context thông qua cả in-context và parametric learning. Chúng tôi chứng minh rằng CLM có thể được điều hướng bằng các chỉ dẫn ngôn ngữ tự nhiên được phát triển qua vòng lặp tối ưu hóa kỹ năng tiêu chuẩn, giúp tăng độ chính xác trên tập kiểm tra lên tới 35,9 điểm trong một tác vụ quản lý context trong khi vẫn giảm mức tính toán. Chúng tôi cũng giới thiệu phương pháp reinforcement learning online cho CLM, giúp cải thiện hiệu suất của Qwen3.5-9B trên BrowseComp-Plus thêm 47,6% trong khi dùng ít hơn 12% FLOPs. Cuối cùng, chúng tôi cùng thiết kế Suffix Cache Reuse cho việc vận hành CLM, giúp giảm thêm 35% tính toán phía máy chủ so với SGLang tiêu chuẩn ở cùng mức hiệu suất.
Nguồn
+ 1 nguồn khác
- THẢO LUẬNemersonmacronews.ycombinator.com
Lịch sử nội dung (3)
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuContext Language Models (CLM) là dạng mô hình ngôn ngữ lớn được thiết kế để xử lý và hiểu…Chúng tôi giới thiệu Context Language Models (CLM), các mô hình ngôn ngữ có khả năng tự q…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuMô hình ngôn ngữ contextContext Language Models
- 2026-10-04 · Tiêu đề · vi · Sửa câu chữContext Language ModelsMô hình ngôn ngữ context
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay