Giới hạn lý thuyết của Language Model Alignment

Các tác giả Lucas Monteiro Paes, Natalie Mackraz, Barry-John Theobald và Federico Danieli cho biết Language model (LM) alignment giúp cải thiện đầu ra của mô hình phản ánh sở thích của con người trong khi vẫn giữ được khả năng của base model. Các phương pháp alignment phổ biến nhất là (i) reinforcement learning, tối đa hóa phần thưởng kỳ vọng dưới ràng buộc KL-divergence, và (ii) best-of-N alignment, chọn đầu ra có phần thưởng cao nhất trong số N mẫu độc lập. Mặc dù được sử dụng rộng rãi, các giới hạn cơ bản của việc cải thiện phần thưởng dưới ngân sách KL vẫn chưa được hiểu rõ. Nhóm tác giả mô tả các Limits thông tin lý thuyết của KL-regularized alignment bằng cách suy ra mức tăng phần thưởng kỳ vọng tối đa có thể đạt được cho một ngân sách KL-divergence cố định. Kết quả đầu tiên cung cấp biểu thức dạng đóng cho sự cải thiện phần thưởng tối ưu, được điều chỉnh bởi thuật ngữ Jeffreys thay vì $ ext{KL} ext{KL} ext{KL}$ được dùng trong các phân tích trước. Nhóm tác giả tái cấu trúc biểu thức này thành hiệp phương sai dưới base model, tạo ra một estimator thực tế dự đoán mức tăng alignment có thể đạt được chỉ từ các mẫu base model. Phân tích được mở rộng sang thiết lập phần thưởng proxy, cho thấy khoảng cách giữa alignment lý tưởng và proxy alignment (reward hacking) tăng theo độ lớn của lỗi phần thưởng và khi hệ số phạt KL giảm. Sau đó, nhóm tác giả chứng minh rằng reward ensembling giảm thiểu reward hacking, cung cấp cơ sở lý thuyết cho kỹ thuật này được áp dụng trong thực tế.