DTCA denoising token credit assignment cho reinforcement learning trong DLMs

Các DLMs tạo văn bản bằng cách khử nhiễu lặp đi lặp lại, cho phép mô hình hóa ngữ cảnh hai chiều và tinh chỉnh token song song. Các nghiên cứu gần đây đã áp dụng RL cho DLMs và cải thiện hiệu suất suy luận của chúng. Tuy nhiên, quá trình khử nhiễu lặp làm cho việc gán credit trở nên khó khăn hơn vì phần thưởng kết quả cuối cùng cung cấp thông tin hạn chế về cách các token khác nhau đóng góp vào đầu ra cuối cùng. Trong bài báo này, chúng tôi đề xuất DTCA, một framework cho việc gán credit ở cấp token trong RL cho DLMs. DTCA ước tính đóng góp của token bằng cách đo lường sự cải thiện trong độ tin cậy dự đoán của các vị trí bị che còn lại sau khi cam kết token và nhóm các tín hiệu này theo các danh mục POS. Các trọng số đóng góp này được dùng để chọn các bước thời gian khử nhiễu mang tính thông tin và gán tín hiệu học tập ở cấp token trong quá trình huấn luyện RL. DTCA còn hiệu chỉnh các tín hiệu học tập này theo sự thay đổi entropy ở cấp token do các cập nhật policy gây ra.