Tối ưu hóa kernel Mixture-of-Experts trên Amazon SageMaker AI

Các kỹ sư AWS chia sẻ các tối ưu hóa kernel cho các mô hình MoE kết hợp trên Amazon SageMaker AI: kỹ thuật Swap-AB để tận dụng WGMMA, định tuyến backend Triton cho việc lượng tử hóa FP8, và loại bỏ việc biên dịch lại Triton JIT. Nhờ đó, hệ thống đạt thông lượng cao hơn tới 10% và thời gian tạo token đầu tiên nhanh hơn tới 9% trên các GPU H200.