Không gian thiết kế của các mô hình phân tán mặt nạ ba dạng Tác giả Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec†**, Pau Rodriguez Lopez, Lokesh Boominathan, Nikhil Bhendawade, Amitis Shidani, Joris Pelemans, Theo X. Olausson‡**, Devon Hjelm, Paul Dixon, João Monteiro, Pierre Ablin, Vishnu Banna, Arno Blaas, Nick Henderson, Kari Noriy, Dan Busbridge, Josh Susskind, Marco Cuturi, Irina Belousova, Luca Zappella, Russ Webb, Jason Ramapuram§** Các mô hình phân tán rời rạc đã trở thành lựa chọn mạnh mẽ thay thế cho các mô hình ngôn ngữ tự động hóa, với những công trình gần đây khởi tạo và fine-tune một mô hình cơ sở đơn dạng cho sinh ra hai dạng. Khác biệt với các cách tiếp cận trước đó, chúng tôi giới thiệu các mô hình phân tán mặt nạ ba dạng (MDM) đầu tiên được pretrain từ đầu trên dữ liệu văn bản, hình ảnh-văn bản và âm thanh-văn bản. Chúng tôi phân tích hệ thống các luật mở rộng đa dạng thức, tỷ lệ pha trộn dạng, lịch trình nhiễu, hiệu ứng kích thước lô và cung cấp các giá trị mặc định mẫu suy diễn tối ưu. Phân tích kích thước lô của chúng tôi cho ra một cách biến đổi mới dựa trên phương trình vi phân thống kê (SDE), loại bỏ nhu cầu điều chỉnh kích thước lô tối ưu như đã báo cáo trong những công trình gần đây. Sự biến đổi này tách rời kích thước lô vật lý, thường được chọn dựa trên tính toán (bão hòa GPU, hiệu quả FLOP, thời gian thực) khỏi kích thước lô logic, được chọn để cân bằng biến thiên của gradient trong quá trình tối ưu hóa ngẫu nhiên. Cuối cùng, chúng tôi pretrain một mô hình sơ bộ cho thấy khả năng của một thiết kế thống nhất, đạt kết quả mạnh mẽ ở quy mô mô hình 3 tỷ (6.4 nghìn tỷ token), trong cả sinh văn bản, nhiệm vụ T2I và nhiệm vụ T2S.