← Back to live feed1 story
1
High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference
arxiv.orgAnalysis of layer-state trajectories across Qwen, Llama, and Gemma checkpoints shows that realized layer order produces paths 1.60--2.24 times more aligned with their endpoint chord than endpoint-preserving shuffles, with a confidence gate driving 17 of 87 held-out Qwen closure trajectories across the full-vocabulary top-1 candidate boundary.
Content history (2)
- 2026-10-21 · Summary · vi · Replaced stored textCác nghiên cứu cơ chế của các mô hình ngôn ngữ lớn định vị chức năng trong tham số, đầu c…Các nghiên cứu cơ chế của các LLM giúp định vị chức năng trong các tham số, attention hea…
- 2026-10-21 · Title · vi · Replaced stored textQuỹ điệu trạng thái lớp nhiều chiều tiết lộ động lực nội tại của suy diễn transformerQuỹ đạo trạng thái lớp cao chiều tiết lộ động lực nội tại của quá trình inference transfo…
Sign in to suggest
Key sources
- SOURCEarxiv.org