ResearchNov 18, 2026 · 12:001 source

RAW: Refusal Aversion in the Wild, A Causal Measurement Method for Deployed LLMs

From arxiv.org

Image: arxiv.org
AI;DR

Deployed LLMs field hundreds of millions of conversations a day and refuse a non-trivial fraction of user requests, yet the user-side cost of refusal, whether users disengage and by how much, is unmeasured on any production model: a blind spot for the consumer-facing platforms built on them. A/B-testing refusal is ethically and operationally constrained on frontier-lab products and unavailable to third-party platforms deploying these models through a fixed API. We introduce RAW, a method that uses LLM stochasticity as a natural experiment: at near-identical prompts in any existing log, the same model sometimes refuses and sometimes does not, and that variation identifies the causal user-side effect of refusal. Applying the method to 15 deployed LLMs in LMSYS-Chat-1M and WildChat, with user-clustered inference, we find that for about half of the models we can measure precisely, a refusal costs 3 to 17 pp of subsequent re-engagement; the rest show no distinguishable effect, among them one deployment whose positive point estimate we trace to persistent users retrying the refused request.

Read the sourceSign in to suggest

Sources

#llmMarkdown
Content history (5)
  • 2026-11-18 · Summary · vi · Replaced stored text
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá tình trạng r…
    Các LLM đã triển khai xử lý hàng trăm triệu cuộc hội thoại mỗi ngày và từ chối một tỷ lệ …
  • 2026-11-18 · Title · vi · Replaced stored text
    RAW: Refusal Aversion in the Wild, một phương pháp đo lường nhân quả cho các LLMs đã triể…
    RAW: Sự né tránh từ chối trong thực tế, một phương pháp đo lường nhân quả cho các LLM đã …
  • 2026-11-18 · Summary · vi · Replaced stored text
    RAW: Refusal Aversion in the Wild là một phương pháp đo lường nhân quả dành cho các LLMs …
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá tình trạng r…
  • 2026-11-18 · Summary · vi · Replaced stored text
    Nhóm tác giả giới thiệu RAW, một phương pháp đo lường nhân quả nhằm đánh giá xu hướng né …
    RAW: Refusal Aversion in the Wild là một phương pháp đo lường nhân quả dành cho các LLMs …
  • 2026-11-18 · Title · vi · Replaced stored text
    RAW: Sự né tránh từ chối trong thực tế, một phương pháp đo lường nhân quả cho các LLMs đã…
    RAW: Refusal Aversion in the Wild, một phương pháp đo lường nhân quả cho các LLMs đã triể…

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today