Giai đoạn đọc phụ thuộc vào đầu vào cho mô hình dãy cộng hưởng

Các mô hình dãy với trạng thái kích thước cố định tránh chi phí bậc hai của sự chú ý, nhưng phải đối mặt với một lựa chọn thiết kế. Một chuyển trạng thái phụ thuộc vào đầu vào mang lại bộ nhớ phụ thuộc vào nội dung ở chi phí huấn luyện dựa trên FFT, trong khi một chuyển trạng thái cố định giữ nguyên đường dẫn tích chất O(T log T) nhưng đọc bộ nhớ theo cùng một cách cho mọi đầu vào. ResonatorLM, một mô hình thuộc nhón thứ hai này, đọc một bộ dao động phức đã giảm thông qua một giai đoạn học được cố định cho mỗi đầu. Chúng tôi biến giai đoạn đọc này thành hàm số của token hiện tại, thêm sự phụ thuộc vào đầu vào cho phần đọc duy nhất, giữ cho phép tích chất vẫn chính xác, và tốn thêm 0,2 phần nghìn số lượng tham số. Phân tích bộ chưa được huấn luyện cho thấy giai đoạn thực sự mã hóa thời gian đã trôi, nhưng một token thông thường sẽ rơi dưới nền tảng trong 2-8 bước và không có lựa chọn nào của hệ số giảm có thể kéo dài tái tạo tuyến tính vượt quá khoảng 16 token. Trong các mô hình ký tự cấp 6M tham số trên WikiText-2, giai đoạn đọc phụ thuộc vào đầu vào khớp với bản gốc ở độ dài huấn luyện và loại bỏ thất bại của nó vượt quá giới hạn đó: được huấn luyện trên 256 token và kiểm tra trên 1024, perplexity giảm từ 12,81 xuống 3,76.