Khi số lượng tham số mô hình tăng lên, các phương pháp MoE kích hoạt thưa (Mixture-of-Experts) đã trở nên thiết yếu cho sự mở rộng mô hình. Tuy nhiên, các mô hình hiện tại đều áp dụng kiến trúc phân tầng, nơi các Expert ở các lớp khác nhau mặc dù độc lập về cấu trúc nhưng lại có nội dung lưu trữ rất giống nhau và dư thừa. So với Local Expert được sắp xếp theo phân tầng trong các mô hình thị trường hiện tại, chúng tôi giả thuyết rằng Meta Expert chia sẻ liên lớp tiềm năng lớn hơn. Để kiểm chứng, chúng tôi thực hiện so sánh thực nghiệm đa chiều giữa Local và Meta Experts, và phát hiện rằng các mô hình kết hợp Meta Experts cho ra kết quả có độ dư thừa tham số thấp hơn, loss cross-entropy thấp hơn và độ chính xác trên các tác vụ hạ lớp cao hơn. Với số lượng kích hoạt và mức độ chi tiết của Expert được giữ cố định, mô hình của chúng tôi đạt hiệu suất tương đương Vanilla MoE nhưng chỉ sử dụng 70–80% số Expert, cải thiện đáng kể tiềm năng mở rộng mô hình.
Nguồn chính
- SOURCEhuggingface.co