Prime Intellect ra mắt kernel MoE mới, tăng tốc huấn luyện mô hình Qwen3 lên đến 55%

Prime Intellect đã ra mắt Prime Mega MoE, một công cụ tối ưu hóa việc huấn luyện các mô hình AI MoE quy mô lớn. Công ty báo cáo kernel mới này tăng tốc các bước huấn luyện cho mô hình Qwen3-235B-A22B lên 55% và mô hình Qwen3-30B-A3B lên 48% so với khung TorchTitan.

Phần mềm đạt được những cải tiến này bằng cách kết hợp tính toán và truyền thông trong lớp MoE thông qua việc thêm một backward kernel vào thiết kế DeepSeek Mega MoE gốc. Trong các bài kiểm tra nội bộ so với baseline prime-rl của chính nó, Prime Intellect phát hiện forward pass của lớp MoE nhanh hơn tới 3,11x. Kernel này tương thích với kiến trúc GPU Blackwell và Hopper của Nvidia.