ResearchNov 18, 2026 · 12:001 source

CrisisBench: an evaluation suite for crisis counseling AI

From arxiv.org

AI;DR

Background: Crisis helplines are essential to mental health systems but are often understaffed and underfunded. LLMs could support counselors, but existing benchmarks do not capture the escalation, risk assessment, and de-escalation central to crisis conversations, while privacy restrictions limit use of real transcripts. Methods: We present CrisisBench, a privacy-preserving suite for single- and multi-turn crisis counseling evaluation. It includes 1,085 single-turn tasks from 200 de-identified conversations and 1,185 patient LLMs derived from hotline metadata. Patient models and a 23-item LLM judge were calibrated against expert counselors. Results: We evaluated five GPT models plus draft-then-edit and retrieval-augmented generation. All systems underperformed human counselors on excessive empathy and questioning in single-turn evaluation. The rubric achieved human-human Krippendorff's $\alpha$ = 0.51 and LLM-human $\alpha$ = 0.54 (Pearson r = 0.80). In multi-turn evaluation, retrieval-augmented generation scored highest overall (0.961), with all systems within 0.058.

Read the sourceSign in to suggest

Sources

#openai#llmMarkdown
Content history (3)
  • 2026-11-18 · Summary · vi · Replaced stored text
    CrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…
    Bối cảnh: Các đường dây trợ giúp khủng hoảng đóng vai trò thiết yếu trong hệ thống sức kh…
  • 2026-11-18 · Title · vi · Replaced stored text
    CrisisBench: bộ công cụ đánh giá dành cho AI tư vấn khủng hoảng
    CrisisBench: bộ đánh giá dành cho AI tư vấn khủng hoảng
  • 2026-11-18 · Summary · vi · Replaced stored text
    CrisisBench là một bộ công cụ đánh giá được thiết kế dành riêng cho AI trong lĩnh vực tư …
    CrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today