DoSA: Dots Sparse Attention

Sparse Attention chỉ truy cập vào ít key, nhưng việc tìm kiếm chúng vẫn có thể yêu cầu tính điểm mọi key với mọi indexer head. Chúng tôi giới thiệu DoSA (Dots Sparse Attention), một phương pháp không mất mát để thực hiện tính toán này một cách có điều kiện trong khi vẫn bảo toàn việc lựa chọn token chính xác. Quan sát trọng tâm của phương pháp là việc lựa chọn Top-K yêu cầu đủ bằng chứng để loại bỏ một ứng viên, chứ không nhất thiết phải là điểm số đầy đủ của nó. Một tập hợp hạt giống cung cấp một giới hạn dưới cho ngưỡng chiến thắng. Các phép chiếu head không âm và các giới hạn residual chung sẽ giới hạn trên các đóng góp dương, trong khi việc tổng hợp dựa trên activation sẽ giới hạn độ lớn bị trừ bởi các head âm. Chứng chỉ này hướng việc tính điểm đầy đủ tới các ứng viên vẫn còn đủ điều kiện; việc lọc điểm chính xác giúp giảm thêm khối lượng công việc ghi lại và lựa chọn. Chúng tôi thiết lập chứng chỉ cùng các điều kiện lựa chọn chính xác của nó, đồng thời phân tích cách hình học và biên độ lựa chọn chi phối hiệu quả của phương pháp. Bản triển khai GPU của chúng tôi giúp tăng tốc toàn bộ Indexer lên tới 2,74 lần so với SGLang và 1,69 lần so với LiteTopK trên các khối lượng công việc tiếng Anh, tiếng Trung và mã nguồn.