Research02.10.2026 · 11:001 nguồn

Sử dụng đa thức nhanh cho các hàm siêu việt trong LLMs

Từ arxiv.org

AI;DR

Các thế hệ GPU mở rộng quy mô pipeline ma trận, hàm đặc biệt và bộ nhớ với tốc độ khác nhau, khiến điểm nghẽn kernel thay đổi theo sự tiến hóa của phần cứng. FlashAttention-4 đã làm lộ sự mất cân bằng này trong cơ chế attention trên NVIDIA Blackwell. Chúng tôi thử nghiệm xem liệu các chương trình đa thức ngắn có thể tăng tốc các hoạt động SFU khác trong LLMs hay không. Đầu tiên, chúng tôi so sánh việc đánh giá PyTorch gốc với các chương trình FMA đóng gói trong một đợt quét IEEE binary16 (FP16) riêng biệt, bao gồm các tập làm việc L2-resident và HBM. Sau đó, chúng tôi thay thế sigmoid, tanh và SiLU gốc bằng các chương trình bfloat16 (BF16) degree-3 hoặc degree-4 trong bốn tác vụ tích hợp GB200: dense SiLU, tanh-softcapped attention, sigmoid attention và routed-expert SwiGLU. Các chương trình này kết hợp tính đối xứng phân tích, làm tròn định dạng mục tiêu và số học đóng gói bên trong các kernel tiêu thụ. Các đường dẫn riêng biệt cải thiện 1,19--2,19 lần trong L2 và 1,00--1,70 lần trong HBM. Việc thay thế dense-SiLU, tanh-softcapped-attention và routed-expert giúp cải thiện thông lượng của toàn bộ bước huấn luyện.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#nvidia#llmBản Markdown
Lịch sử nội dung (2)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhóm nghiên cứu đưa ra thuật toán siêu phương tính nhanh áp dụng cho LLM, tối ưu hóa tốc …
    Các thế hệ GPU mở rộng quy mô pipeline ma trận, hàm đặc biệt và bộ nhớ với tốc độ khác nh…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Siêu phương tính nhanh cho LLM
    Sử dụng đa thức nhanh cho các hàm siêu việt trong LLMs

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay