Research18.11.2026 · 12:001 nguồn
CrisisBench: bộ đánh giá dành cho AI tư vấn khủng hoảng
Từ arxiv.org
Bối cảnh: Các đường dây trợ giúp khủng hoảng đóng vai trò thiết yếu trong hệ thống sức khỏe tâm thần nhưng thường xuyên thiếu nhân sự và kinh phí. Các LLM có thể hỗ trợ tư vấn viên, nhưng các benchmark hiện tại chưa nắm bắt được quá trình leo thang, đánh giá rủi ro và xoa dịu tình hình vốn là trọng tâm của các cuộc hội thoại khủng hoảng, trong khi các hạn chế về quyền riêng tư cũng làm hạn chế việc sử dụng các bản ghi chép thực tế. Phương pháp: Nhóm tác giả giới thiệu CrisisBench, một bộ công cụ bảo vệ quyền riêng tư để đánh giá tư vấn khủng hoảng đơn lượt và multi-turn. Bộ công cụ này bao gồm 1.085 tác vụ đơn lượt từ 200 cuộc hội thoại đã được ẩn danh và 1.185 patient LLM được rút ra từ siêu dữ liệu của đường dây nóng. Các patient model và một LLM judge gồm 23 mục đã được hiệu chuẩn so với các chuyên gia tư vấn. Kết quả: Nhóm tác giả đã đánh giá năm mô hình GPT cùng với phương pháp draft-then-edit và RAG. Trong đánh giá đơn lượt, tất cả các hệ thống đều có hiệu suất kém hơn tư vấn viên là con người về mức độ thấu cảm quá mức và kỹ năng đặt câu hỏi. Thang đo đạt chỉ số Krippendorff's $\alpha$ = 0,51 giữa người với người và LLM-human $\alpha$ = 0,54 (Pearson r = 0,80). Trong đánh giá multi-turn, RAG đạt điểm cao nhất về tổng thể (0,961), với tất cả các hệ thống đều nằm trong khoảng cách 0,058.
Nguồn
Lịch sử nội dung (3)
- 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưuCrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…Bối cảnh: Các đường dây trợ giúp khủng hoảng đóng vai trò thiết yếu trong hệ thống sức kh…
- 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưuCrisisBench: bộ công cụ đánh giá dành cho AI tư vấn khủng hoảngCrisisBench: bộ đánh giá dành cho AI tư vấn khủng hoảng
- 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưuCrisisBench là một bộ công cụ đánh giá được thiết kế dành riêng cho AI trong lĩnh vực tư …CrisisBench là một bộ công cụ đánh giá mới được thiết kế để kiểm tra khả năng của AI tron…
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay