Quỹ đạo trạng thái lớp cao chiều tiết lộ động lực nội tại của quá trình inference transformer

Các nghiên cứu cơ chế của các LLM giúp định vị chức năng trong các tham số, attention heads hoặc neuron, nhưng những thành phần đó không chỉ rõ cách một quá trình inference diễn ra như thế nào. Chúng tôi coi quỹ đạo trạng thái lớp có thứ tự là một quá trình thực nghiệm và kiểm tra xem thứ tự lớp có xác định một phép tính có thể đo lường được hay không. Qua các checkpoint đại diện của Qwen, Llama và Gemma, thứ tự thực tế tạo ra các đường dẫn khớp với chord điểm cuối của chúng cao hơn từ 1,60 đến 2,24 lần so với các phép xáo trộn bảo toàn điểm cuối. Hiệu ứng thứ tự được chuyển sang một tác vụ từ vựng, nhưng mạnh hơn trong ba lần khởi tạo ngẫu nhiên của cùng một kiến trúc Qwen, giúp xác định một khung cấu trúc tương thích với kiến trúc thay vì một quy luật đặc thù của quá trình huấn luyện. Các hidden states trực tiếp cung cấp tọa độ cơ chế mạnh hơn so với việc đọc lại từ vựng, và một tọa độ được xác định bởi tác vụ giúp việc tính toán sự cạnh tranh giữa các ứng viên trở nên khả thi. Sau khi các can thiệp cộng tính thất bại, các bộ kích hoạt chuyển đổi cục bộ đã kiểm soát có chọn lọc các quỹ đạo nội tại qua các checkpoint. Một cổng tin cậy sau đó đã điều khiển 17 trong số 87 quỹ đạo đóng Qwen được giữ lại vượt qua ranh giới ứng viên top-1 của toàn bộ từ vựng, trong khi vẫn giữ nguyên tất cả 203 đầu ra top-1 không phải dạng đóng.