Nghiên cứu viên Stanford và UC Berkeley ra mắt TokenGate: Attention được gated bằng token làm prefill ngữ cảnh dài nhanh hơn tới 11,3x

Các nhà nghiên cứu tại Stanford và Berkeley đã ra mắt TokenGate, một module cắt giảm token học được học đi học lại cho LLMs. Nó giảm thời gian prefill ngữ cảnh dài lên tới 1,4x đến 11,3x và bộ nhớ đỉnh lên tới 1,5x đến 3,4x mà không làm giảm độ chính xác.