FLAT TPU Kernels vượt hơn H100 3x trong huấn luyện GLA

Mayank Mishra đã phát triển một framework mới để thực thi attention tuyến tính trên phần cứng TPU của Google, nhằm tăng tốc quá trình huấn luyện mô hình. Bản phát hành mang tên FLAT cung cấp các kernel Pallas cho phép một TPU v6e duy nhất thực hiện các lượt forward và backward lên đến 3x nhanh hơn Flash Linear Attention trên Nvidia H100 cho GLA, và 1.5x nhanh hơn cho Mamba-2.

Các kernel mới được thiết kế để tối ưu hóa việc huấn luyện cho GLA, Mamba-2 và các kiến trúc attention tuyến tính khác. Các nhà nghiên cứu Albert Gu và Percy Liang đã nêu bật bản phát hành này, khai thác Pallas để cải thiện hiệu quả xử lý trên phần cứng v6e, giảm thiểu chi phí tính toán.