1

SynLat: nén văn bản đồng điệu cú pháp cho chuỗi suy luận

arxiv.org

Các chuỗi suy luận dài đòi hỏi chi phí token đầu ra lớn. Trong hạn mức cho phép, việc nén phải giữ lại các thông tin cốt lõi để trả lời, khiến vị trí ranh giới trở thành yếu tố then chốt. Các ranh giới tính theo token hoặc độ dài cố định có thể làm đứt đoạn các khoảng liền mạch như cụm từ, công thức và phần suy luận cục bộ, trong khi ranh giới theo bước lại gộp chung nội dung cần mức độ nén khác nhau. Nhóm tác giả giới thiệu SynLat, một mô hình suy luận dạng văn bản kết hợp ẩn nhằm đồng điệu ranh giới nén với cấu trúc cú pháp thông qua các đơn vị đồng điệu cú pháp không chồng chéo. Một mô hình Teacher chịu điều kiện từ câu trả lời tạo ra các mục tiêu KEEP/LATENT theo từng tầng cho một mô hình Student duy nhất chịu điều kiện nén. Khi suy luận, mô hình này tạo ra phần suy luận kết hợp chỉ từ câu hỏi và mức độ nén yêu cầu. Trên hai quy mô mô hình Student Qwen3, các nhóm Standard-CoT cùng Long-CoT, và ba mức độ nén, SynLat đạt hiệu suất ngang bằng hoặc vượt qua baseline mạnh nhất trong cả 12 nhóm tác vụ tổng hợp, đồng thời dẫn đầu tuyệt đối ở 11 nhóm theo quy chế chọn lựa tỷ lệ nén đạt được đã công bố.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

  1. SOURCEarxiv.org
Bản Markdown