Thứ Năm, 27 thg 8, 2026

Kỹ thuật Prefix Sliding giúp tăng tốc mô hình AI gấp 3 lần khi xử lý chuỗi suy luận trên 100.000 token

Nghiên cứu8 ngày trước1/3

Phương pháp Prefix Sliding mới cho phép các mô hình AI xử lý các chuỗi suy luận dài hơn 100.000 token với tốc độ nhanh gấp 3 lần so với trước đây.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

SOURCE@muennighoff12:59 27 thg 8— vanilla full attention OOMs on long tasks & compaction loses important details

SUPPORT@iscienceluvr9:10 27 thg 8— Training with Prefix Sliding using reinforcement learning can achieve better performance by enabling scaling to reasoning traces beyond a hundred thousand tokens

SUPPORT@percyliang14:42 27 thg 8— Prefix Sliding for efficient test-time scaling