Khám phá không gian thiết kế LLMs phân tán hoán vị

Sinh tạo hoán vị với mô hình ngôn ngữ yêu cầu cả xếp hạng dựa trên văn bản và một phép gán một-một toàn cục giữa các ứng cử viên và vị trí đầu ra. Chúng tôi nghiên cứu vấn đề này thông qua ba cách tham số hóa diffusion-LLM: dự đoán phép gán cứng trên các trình tự chỉ số ứng cử viên đã xáo trộn, dự đoán phép gán mềm trên ma trận doubly stochastic, và dự đoán điểm số thứ tự trực tiếp sau đó sắp xếp. Ba nhóm này đặt ràng buộc hoán vị ở các giai đoạn khác nhau của dự báo và giải mã, do đó hỗ trợ các mục tiêu huấn luyện và quy trình lấy mẫu khác nhau. Chúng tôi đánh giá các thiết kế này trên việc tái xếp hạng đề xuất trên ba lĩnh vực Amazon với tập ứng cử viên kích thước 10 và 20. Ở một lần đánh giá hàm số, các biến thể gán cứng và gán mềm đạt Recall@1 tương đương với đường cơ sở diffusion mặt cài đặt ràng buộc, trong khi dự đoán điểm số thứ tự trực tiếp bảo đảm hoán vị hợp lệ mà không cần phép gán Hungarian hay chuẩn hóa Sinkhorn. Các lần đánh giá hàm số bổ sung không cải thiện chất lượng xếp hạng một cách nhất quán, và tác động của chúng phụ thuộc mạnh vào biểu diễn trạng thái và mục tiêu huấn luyện.