ResearchNov 18, 2026 · 12:001 source
CrisisBench: an evaluation suite for crisis counseling AI
From arxiv.org
Background: Crisis helplines are essential to mental health systems but are often understaffed and underfunded. LLMs could support counselors, but existing benchmarks do not capture the escalation, risk assessment, and de-escalation central to crisis conversations, while privacy restrictions limit use of real transcripts. Methods: We present CrisisBench, a privacy-preserving suite for single- and multi-turn crisis counseling evaluation. It includes 1,085 single-turn tasks from 200 de-identified conversations and 1,185 patient LLMs derived from hotline metadata. Patient models and a 23-item LLM judge were calibrated against expert counselors. Results: We evaluated five GPT models plus draft-then-edit and retrieval-augmented generation. All systems underperformed human counselors on excessive empathy and questioning in single-turn evaluation. The rubric achieved human-human Krippendorff's $\alpha$ = 0.51 and LLM-human $\alpha$ = 0.54 (Pearson r = 0.80). In multi-turn evaluation, retrieval-augmented generation scored highest overall (0.961), with all systems within 0.058.
Sources
Content history (3)
- 2026-11-18 · Summary · vi · Replaced stored textCrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…Bối cảnh: Các đường dây trợ giúp khủng hoảng đóng vai trò thiết yếu trong hệ thống sức kh…
- 2026-11-18 · Title · vi · Replaced stored textCrisisBench: bộ công cụ đánh giá dành cho AI tư vấn khủng hoảngCrisisBench: bộ đánh giá dành cho AI tư vấn khủng hoảng
- 2026-11-18 · Summary · vi · Replaced stored textCrisisBench là một bộ công cụ đánh giá được thiết kế dành riêng cho AI trong lĩnh vực tư …CrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today