Kairos: Hướng tới mô hình nền tảng ở mức byte cho mọi dạng dữ liệu

Các mô hình ngôn ngữ nhỏ được huấn luyện trên một máy tính địa phương duy nhất để lại ít không gian cho thử nghiệm và sửa lỗi kiến trúc. Kairos kết hợp sự chú ý tuyến tính gated-DeltaNet hai chiều và sự chú ý cửa sổ trượt trên các phép chiếu chung (LiZAttention2), tổng hợp khối Attention-Residual, một lớp feedforward dày đặc Mixture-of-Experts (MoE) và một bộ mã codec byte mức độ đa tầm, được huấn luyện với mục tiêu làm sạch tiếng ồn đồng đều trên một không gian byte chung dùng cho văn bản, hình ảnh, âm thanh, video, lidar và luồng điều khiển; báo cáo này hỏi liệu sự kết hợp này có tối ưu hóa hay không trước khi hỏi liệu nó có hữu ích không. Chúng tôi cung cấp thuật toán dẫn xuất từ mã cho từng thành phần, bao gồm cả cửa sổ bộ nhớ trạng thái lặp lại liên phiên bản, sau đó thực hiện kiểm tra hợp lệ hội tụ: overfit một câu 440 byte duy nhất tại 1--15M tham số, chỉ có văn bản, với ba hạt giống cho lựa chọn codec và sự chú ý và quét đơn lẫn cho bốn yếu tố khác. Hai biến thể sự chú ý được thử nghiệm tại 3.000 bước (LiZAttention2 và sự chú ý cửa sổ đơn lẻ) đạt đến mức loss tối thiểu gần $10^{-3}$.