Next-Concept Modeling tạo văn bản nhanh hơn 31 lần so với diffusion models

Một nhóm nghiên cứu vừa ra mắt phương pháp sản xuất văn bản song song, đi từ các xấp xỉ thô đến tinh để tăng tốc đầu ra. Next-Concept Modeling (NCM) nhanh hơn tới 31 lần so với các DLMs có cùng kích thước tham số khi thực hiện các tác vụ hạ nguồn như dịch máy và tóm tắt. Đối với việc tạo nội dung không điều kiện trên các benchmark bao gồm OpenWebText, LM1B và TinyStories, NCM nhanh hơn từ 10-21 lần và cần ít hơn 3-5 lần số lượng training token để đạt được mức generative perplexity tương đương. Mô hình này cũng vượt qua hiệu suất của cả các baseline autoregressive và diffusion trong các tác vụ reasoning, bao gồm cả Sudoku, nhờ sử dụng ít bước lấy mẫu hơn. Dự án được phát triển bởi Kumbong Hermann, Ishan Khare, Iddah Mlauzi, Ellen Kellbuch, Simran Arora và Azalia Mirh, hợp tác cùng Hazy Research.