3 cách tăng tốc MoE inference trên NVIDIA DGX Spark

Tạo token nhanh hơn bắt đầu bằng việc xác định yếu tố giới hạn hiệu suất inference. Trong đánh giá batch-size-1 của Ling-3.0-flash từ Inclusion AI trên NVIDIA DGX Spark, profiling cho thấy decoding bị giới hạn bởi bộ nhớ: việc đọc trọng số mô hình chiếm thời gian thực thi. Hai phép tính nổi bật — tính toán mixture-of-experts (MoE) và phép chiếu lớp đầu ra tạo ra điểm số trên toàn bộ từ vựng của mô hình. Những phát hiện này chỉ ra hai cách cải thiện hiệu suất: giảm lư lượng trọng số trong mỗi bước decode và tạo nhiều token hơn mỗi vòng xác minh. Bài viết kiểm tra ba kỹ thuật giải quyết những chi phí này: cách mỗi tối ưu hoạt động, đo lường tác động của nó, và điều tra một vấn đề tích hợp có thể khiến cấu hình kết hợp chậm hơn baseline. Ling-3.0-flash là ví dụ thực hiện, kèm mã nguồn và hướng dẫn triển khai trong Ling cookbook. Đánh giá sử dụng Ling-3.0-flash-fp4, một mô hình MoE với 124 tỷ tham số tổng cộng và 5,1 tỷ tham số hoạt động mỗi token. Mô hình có 42 lớp: 35 lớp attention tuyến tính Kimi Delta Attention (KDA) và bảy lớp attention tiềm ẩn đa đầu (MLA). Mỗi lớp MoE định tuyến mỗi token đến tám trong 512 chuyên gia được định tuyến, cùng với một chuyên gia chung.