Vượt qua Domain-Routed Supervision: Cross-Teacher Guarding cho Multi-Teacher On-Policy Distillation

Multi-teacher on-policy distillation (MOPD) mở rộng on-policy distillation (OPD) bằng cách định tuyến dữ liệu miền cụ thể đến các giáo viên chuyên biệt, tích hợp khả năng thông qua sự giám sát mật độ token-level trên các quỹ đạo sinh ra bởi sinh viên. Tuy nhiên, định tuyến miền chỉ phân biệt nguồn giám sát cho các miền khác nhau; cập nhật từ tất cả các miền vẫn tác động lên các tham số chung. Khi các giáo viên khác biệt đáng kể về phong cách phản hồi và chuyên môn miền, sự giám sát hiệu quả khi độc lập vẫn có thể dẫn đến xung đột gradient kéo dài và suy giảm khả năng trong quá trình tối ưu hóa chung. Để giải quyết thách thức này, chúng tôi đề xuất Cross-Teacher Guarding cho MOPD (Road MOPD), giới thiệu các giáo viên không được định tuyến như những người phê bình phản hồi liên miền phụ trợ trên cùng các quỹ đạo sinh viên và điều phối giám sát đa giáo viên thông qua phân bổ tín nhiệm token-level và cập nhật gradient.