TraceQuery: learning what to recompute from full-denoising trajectory in diffusion language models

Các mô hình ngôn ngữ diffusion (dLLM) cho phép sinh tạo linh hoạt thông qua quá trình giải mã masked denoising lặp đi lặp, nhưng tốn chi phí suy diễn lớn vì các biểu diễn token bị tính toán lại nhiều lần qua các bước giải mã. Các phương pháp dựa trên bộ nhớ đệm hiện có giảm chi phí này bằng cách tái sử dụng kết quả trung gian và chỉ tính toán lại một tập hợp con vị trí ở mỗi bước, được chọn theo lịch trình cố định hoặc dựa trên tín hiệu thay đổi thuần nghịch. Thí nghiệm quỹ đạo của chúng tôi cho thấy quỹ đạo giải mã là yếu tố liên quan hơn. Sinh tạo có bộ nhớ đệm vẫn giữ độ chính xác khi gần với quỹ đạo giải mã đầy đủ, với lỗi tập trung quanh sai lệch thứ tự unmask và giảm dần khi các tiền tố tham chiếu dài hơn được khôi phục. Điều này gợi ý một nguyên tắc trực tiếp hơn: giới hạn lỗi biểu diễn giúp ích, nhưng giữ cho sinh tạo ở trên quỹ đạo giải mã đầy đủ là con đường trực tiếp hơn đến giải mã chính xác. Vì vậy, chúng tôi đưa ra công thức hóa suy diễn dLLM hiệu quả dưới dạng truy vấn theo hướng dẫn quỹ đạo.