ReplaySSM tăng tốc suy diễn GLM và Kimi lên đến 2,1x trong môi trường thực

Một phương pháp tính toán mới cho State Space Models đã được triển khai trên nhiều mô hình AI và khung triển khai khác nhau. Kỹ thuật ReplaySSM đang hoạt động trong GLM-5.3-Flash và Kimi-K3, đồng thời đã được tích hợp vào vLLM, TensorRT-LLM, SGLang và FlashInfer. Bản cập nhật tăng tốc độ giải mã tiêu chuẩn lên đến 1,47x và giải mã dự đoán lên đến 2,1x, đồng thời cho phép trạng thái độ chính xác thấp để ngăn lỗi làm tròn lan truyền qua quá trình lặp lại.

Phát triển trong hợp tác với Nvidia, phương pháp này lưu trữ bộ nhớ đệm đầu vào của State Space Model (SSM) thay vì trạng thái, tách việc tính toán đầu ra khỏi cập nhật trạng thái trong quá trình giải mã. Cách tiếp cận này mang lại cho SSM khả năng tiếp cận các tối ưu hóa suy diễn thường chỉ dành cho Transformers, như quantization và speculative decoding. Các nhà nghiên cứu cho biết những lợi ích về hiệu suất đến từ chiến lược bộ nhớ IO-aware tương tự logic dùng trong Mamba scan, paged KV và FlashAttention.