--- format: "aidr-story-markdown/v1" id: "3a474d73c07650bcabb4521a937b5c9483554198dd26c3ede05e140dec801109" canonical_url: "https://aidr.today/3a474d73?lang=vi" title: "Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-13T00:00:00.000Z" category: "Research" topics: ["llm"] source_urls: ["https://machinelearning.apple.com/research/mix-dont-tune"] summary: "Mix, Don’t Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings Tác giả Paul Jeha†**, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen†‡, Pierre Ablin‡, Natalie Schluter‡ Với hầu hết các ngôn ngữ trên thế giới, việc huấn luyện trước mô hình ngôn ngữ diễn ra trong điều kiện hạn chế dữ liệu, nơi các mô hình phải lặp lại dữ liệu huấn luyện nhiều lần làm giảm khả năng khái quát hóa. Có hai giải pháp khắc phục: tinh chỉnh hyperparameter cực đoan như trọng số suy giảm cao và trộn dữ liệu từ ngôn ngữ phụ trợ tài nguyên cao để hỗ trợ trực tiếp mục tiêu tài nguyên thấp. Trong khi tinh chỉnh hyperparameter điều regularize mô hình bằng cách thu nhỏ trọng số để giới hạn dung lượng mạng, việc trộn dữ liệu phụ trợ dùng tỷ lệ trộn có thể điều chỉnh để mở rộng phân phối huấn luyện và làm phong phú tín hiệu huấn luyện bằng tri thức mới. Cả hai đều cung cấp phương pháp có nguyên tắc để cải thiện việc huấn luyện trong miền hạn chế dữ liệu. Chúng tôi so sánh có hệ thống các đòn bẩy này trên bốn quy mô mô hình từ 150M đến 1,43B tham số, dùng tiếng Ả Rập làm mục tiêu tài nguyên thấp và tiếng Anh làm ngôn ngữ phụ trợ qua khoảng 1.000 lần chạy huấn luyện…" --- # Mix, Don't Tune: Bilingual Pre\-Training Outperforms Hyperparameter Search in Data\-Constrained Settings > [Open the canonical story]() **Published:** 2026-10-13T00:00:00.000Z **Category:** Research **Topics:** llm ## Summary Mix, Don’t Tune: Bilingual Pre\-Training Outperforms Hyperparameter Search in Data\-Constrained Settings Tác giả Paul Jeha†\*\*, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen†‡, Pierre Ablin‡, Natalie Schluter‡ Với hầu hết các ngôn ngữ trên thế giới, việc huấn luyện trước mô hình ngôn ngữ diễn ra trong điều kiện hạn chế dữ liệu, nơi các mô hình phải lặp lại dữ liệu huấn luyện nhiều lần làm giảm khả năng khái quát hóa\. Có hai giải pháp khắc phục: tinh chỉnh hyperparameter cực đoan như trọng số suy giảm cao và trộn dữ liệu từ ngôn ngữ phụ trợ tài nguyên cao để hỗ trợ trực tiếp mục tiêu tài nguyên thấp\. Trong khi tinh chỉnh hyperparameter điều regularize mô hình bằng cách thu nhỏ trọng số để giới hạn dung lượng mạng, việc trộn dữ liệu phụ trợ dùng tỷ lệ trộn có thể điều chỉnh để mở rộng phân phối huấn luyện và làm phong phú tín hiệu huấn luyện bằng tri thức mới\. Cả hai đều cung cấp phương pháp có nguyên tắc để cải thiện việc huấn luyện trong miền hạn chế dữ liệu\. Chúng tôi so sánh có hệ thống các đòn bẩy này trên bốn quy mô mô hình từ 150M đến 1,43B tham số, dùng tiếng Ả Rập làm mục tiêu tài nguyên thấp và tiếng Anh làm ngôn ngữ phụ trợ qua khoảng 1\.000 lần chạy huấn luyện… ## Sources - [Story source]()