Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings

Mix, Don’t Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings Tác giả Paul Jeha†**, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen†‡, Pierre Ablin‡, Natalie Schluter‡ Với hầu hết các ngôn ngữ trên thế giới, việc huấn luyện trước mô hình ngôn ngữ diễn ra trong điều kiện hạn chế dữ liệu, nơi các mô hình phải lặp lại dữ liệu huấn luyện nhiều lần làm giảm khả năng khái quát hóa. Có hai giải pháp khắc phục: tinh chỉnh hyperparameter cực đoan như trọng số suy giảm cao và trộn dữ liệu từ ngôn ngữ phụ trợ tài nguyên cao để hỗ trợ trực tiếp mục tiêu tài nguyên thấp. Trong khi tinh chỉnh hyperparameter điều regularize mô hình bằng cách thu nhỏ trọng số để giới hạn dung lượng mạng, việc trộn dữ liệu phụ trợ dùng tỷ lệ trộn có thể điều chỉnh để mở rộng phân phối huấn luyện và làm phong phú tín hiệu huấn luyện bằng tri thức mới. Cả hai đều cung cấp phương pháp có nguyên tắc để cải thiện việc huấn luyện trong miền hạn chế dữ liệu. Chúng tôi so sánh có hệ thống các đòn bẩy này trên bốn quy mô mô hình từ 150M đến 1,43B tham số, dùng tiếng Ả Rập làm mục tiêu tài nguyên thấp và tiếng Anh làm ngôn ngữ phụ trợ qua khoảng 1.000 lần chạy huấn luyện trước. Ba phát hiện xuất hiện. Đầu tiên, việc trộn mang lại cải tiến lớn hơn so với tinh chỉnh hyperparameter trên cả loss khi validation và độ chính xác tác vụ downstream, khoảng cách này tăng dần theo quy mô mô hình. Thứ hai, chúng tôi định lượng mức độ hỗ trợ của việc trộn: nó tăng hiệu suất tương đương 2 đến 3 lần lượng dữ liệu mục tiêu độc nhất trên validation loss và 2 đến 13 lần trên độ chính xác tác vụ downstream, với mức tăng mở rộng mạnh theo quy mô mô hình.