Research18.11.2026 · 12:001 nguồn

RAW: Sự né tránh từ chối trong thực tế, một phương pháp đo lường nhân quả cho các LLM đã triển khai

Từ arxiv.org

Ảnh: arxiv.org
AI;DR

Các LLM đã triển khai xử lý hàng trăm triệu cuộc hội thoại mỗi ngày và từ chối một tỷ lệ không nhỏ các yêu cầu từ người dùng, tuy nhiên chi phí từ phía người dùng khi bị từ chối — như việc họ có rời bỏ dịch vụ hay không và mức độ ra sao — vẫn chưa được đo lường trên bất kỳ mô hình thực tế nào: đây là một điểm mù đối với các nền tảng hướng tới người tiêu dùng được xây dựng trên chúng. Việc A/B-testing hành vi từ chối bị hạn chế về mặt đạo đức và vận hành đối với các sản phẩm từ frontier-lab, đồng thời không khả dụng cho các nền tảng bên thứ ba triển khai các mô hình này thông qua một API cố định. Chúng tôi giới thiệu RAW, một phương pháp sử dụng tính ngẫu nhiên của LLM như một thí nghiệm tự nhiên: với các prompt gần như giống hệt nhau trong bất kỳ nhật ký hiện có nào, cùng một mô hình đôi khi từ chối và đôi khi không, và sự biến thiên đó giúp xác định tác động nhân quả của việc từ chối đối với người dùng. Áp dụng phương pháp này vào 15 LLM đã triển khai trong LMSYS-Chat-1M và WildChat, cùng với việc phân cụm người dùng khi inference, chúng tôi thấy rằng đối với khoảng một nửa số mô hình có thể đo lường chính xác, một lần từ chối làm mất từ 3 đến 17 điểm phần trăm tỷ lệ tái tương tác sau đó; số còn lại không cho thấy hiệu ứng có thể phân biệt được, trong đó có một triển khai mà ước tính điểm dương được chúng tôi truy nguyên từ những người dùng trung thành đang thử lại yêu cầu đã bị từ chối.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown
Lịch sử nội dung (5)
  • 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá tình trạng r…
    Các LLM đã triển khai xử lý hàng trăm triệu cuộc hội thoại mỗi ngày và từ chối một tỷ lệ …
  • 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưu
    RAW: Refusal Aversion in the Wild, một phương pháp đo lường nhân quả cho các LLMs đã triể…
    RAW: Sự né tránh từ chối trong thực tế, một phương pháp đo lường nhân quả cho các LLM đã …
  • 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưu
    RAW: Refusal Aversion in the Wild là một phương pháp đo lường nhân quả dành cho các LLMs …
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá tình trạng r…
  • 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá xu hướng né …
    RAW: Refusal Aversion in the Wild là một phương pháp đo lường nhân quả dành cho các LLMs …
  • 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưu
    RAW: Sự né tránh từ chối trong thực tế, một phương pháp đo lường nhân quả cho các LLMs đã…
    RAW: Refusal Aversion in the Wild, một phương pháp đo lường nhân quả cho các LLMs đã triể…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay