Khoảng cách tạo sinh giữa speculative drafter và continuous diffusion language model

Các continuous diffusion language models CDLMs và speculative drafters mang lại khả năng tạo ngôn ngữ hiệu quả nhưng thường được đánh giá khác nhau: CDLMs tạo độc lập thông qua tinh chỉnh lặp đi lặp lại, trong khi drafters đề xuất văn bản để xác minh và sửa lỗi bởi target-model. Chúng tôi so sánh kiến trúc của chúng mà không có xác minh, dùng LangFlow cho CDLMs và điều chỉnh kiến trúc Markov và recurrent-head của DSpark cho việc tạo độc lập. Tất cả các model được huấn luyện từ đầu cho việc tạo OpenWebText không điều kiện, khối đơn ở độ dài 16, 128 và 1024, không có tính năng mục tiêu hay xác minh, dùng tiền xử lý chung, kích thước backbone và ngân sách cập nhật huấn luyện. Chúng tôi đánh giá GenPPL với một language model bên ngoài và độ tương đồng phân phối với văn bản tham chiếu bằng MAUVE. Với các bước khử nhiễu mặc định bằng độ dài chuỗi, LangFlow vượt trội hơn cả hai biến thể DSpark trên cả hai chỉ số ở độ dài 128 và 1024, trong khi DSpark-RNN dẫn đầu ở 16. Phân tích KL có điều kiện mô tả các phụ thuộc bị loại trừ bởi điều kiện token trước của Markov head.