NVIDIA cho thấy 3 cách tăng tốc suy diễn MoE trên DGX Spark, nâng throughput Ling-3.0-flash 42,5%

NVIDIA cho thấy cách 3 tối ưu hóa xếp chồng tăng tốc suy diễn MoE trên một DGX Spark duy nhất. Trên bộ dữ liệu 124B của Ant Group inclusionAI, Ling-3.0-flash, throughput giải mã GSM8K tăng 42,5% mà không có thay đổi độ chính xác có thể phát hiện.