Rank-Aware Differentially Private Release of Listwise Preferences for LLM Alignment

Phản hồi sở thích dạng danh sách cung cấp thông tin giám sát phong phú hơn cho việc căn chỉnh LLM so với so sánh đôi, nhưng một thứ hạng đầy đủ cũng tiết lộ nhiều sở thích người dùng nhạy cảm hơn. Các phương pháp căn chỉnh bảo vệ quyền riêng tư hiện tại tập trung chủ yếu vào phản hồi dạng đôi, trong khi việc căn chỉnh dạng danh sách dưới sự bảo vệ khác biệt địa phương (LDP) vẫn chưa được khám phá. Mở rộng LDP sang lĩnh vực danh sách này đặt ra thách thức then chốt: không gian nhạy cảm của thứ hạng đầy đủ đòi hỏi tiếng ồn quá lớn, làm triệt tiêu lợi ích của sự giám sát dạng danh sách. Để giải quyết thách thức này, chúng tôi phân tích tương tác giữa độ chi tiết của sự giám sát và tiếng ồn bảo mật trong huấn luyện hạ, và giới thiệu cơ chế mũi nhân nhận biết thứ hạng (rank-aware exponential mechanism) để ẩn danh hóa dữ liệu sở thích dạng danh sách thành một độ nhạy thấp phù hợp cho việc căn chỉnh hạ. Cơ chế này tận dụng thông tin thứ hạng để lấy mẫu một phân vùng nhị phân kích thước cố định, tập trung tiếng ồn gần các mục biên giới thay vì làm phiền đều tất cả các mục như RR thường làm.