Research02.10.2026 · 11:001 nguồn
Sử dụng đa thức nhanh cho các hàm siêu việt trong LLMs
Từ arxiv.org
Các thế hệ GPU mở rộng quy mô pipeline ma trận, hàm đặc biệt và bộ nhớ với tốc độ khác nhau, khiến điểm nghẽn kernel thay đổi theo sự tiến hóa của phần cứng. FlashAttention-4 đã làm lộ sự mất cân bằng này trong cơ chế attention trên NVIDIA Blackwell. Chúng tôi thử nghiệm xem liệu các chương trình đa thức ngắn có thể tăng tốc các hoạt động SFU khác trong LLMs hay không. Đầu tiên, chúng tôi so sánh việc đánh giá PyTorch gốc với các chương trình FMA đóng gói trong một đợt quét IEEE binary16 (FP16) riêng biệt, bao gồm các tập làm việc L2-resident và HBM. Sau đó, chúng tôi thay thế sigmoid, tanh và SiLU gốc bằng các chương trình bfloat16 (BF16) degree-3 hoặc degree-4 trong bốn tác vụ tích hợp GB200: dense SiLU, tanh-softcapped attention, sigmoid attention và routed-expert SwiGLU. Các chương trình này kết hợp tính đối xứng phân tích, làm tròn định dạng mục tiêu và số học đóng gói bên trong các kernel tiêu thụ. Các đường dẫn riêng biệt cải thiện 1,19--2,19 lần trong L2 và 1,00--1,70 lần trong HBM. Việc thay thế dense-SiLU, tanh-softcapped-attention và routed-expert giúp cải thiện thông lượng của toàn bộ bước huấn luyện.
Nguồn
Lịch sử nội dung (2)
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNhóm nghiên cứu đưa ra thuật toán siêu phương tính nhanh áp dụng cho LLM, tối ưu hóa tốc …Các thế hệ GPU mở rộng quy mô pipeline ma trận, hàm đặc biệt và bộ nhớ với tốc độ khác nh…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuSiêu phương tính nhanh cho LLMSử dụng đa thức nhanh cho các hàm siêu việt trong LLMs
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay