Đánh giá hệ thống đề xuất trước khi triển khai đòi hỏi các bộ mô phỏng giữ cho thực tế suốt các chu trình tương tác khép kín dài. Các agent dựa trên LLM hiện nay thường chỉ là bản sao bề mặt sinh ra phản hồi thực tế ngắn hạn nhưng không nắm bắt được động lực người dùng thực sự như mệt mỏi, cảm xúc và sở thích thay đổi. Chúng tôi đề xuất PsyBer-Agent, một bộ mô phỏng lấy cảm hứng từ tâm lý học mô hình các động lực này thông qua Psy-Engine. Engine này biểu diễn mỗi người dùng bằng ba trạng thái tiềm ẩn đang phát triển do mô hình định nghĩa. Để hiệu chuẩn hành vi mô phỏng với nhật ký tương tác thực tế, chúng tôi căn chỉnh các quỹ tích tham chiếu dựa trên nhật ký với các quỹ tích sinh ra từ bộ mô phỏng thông qua vận chuyển optimal transport Unbalanced Gromov--Wasserstein. Cách tiếp cận này cung cấp giám sát có cấu trúc cho một chính sách nhẹ mà không gánh nặng tính toán của việc fine-tune mô hình nền LLM. Chúng tôi cũng giới thiệu WebSim và PsyBer Benchmark, bao phủ các kịch bản đa phương tiện và bảy nền tảng đề xuất. Khung làm việc của chúng tôi đánh giá độ trung thự hành vi, tính nhất quán của trạng thái tiềm ẩn, khả năng chịu đựng và phản hồi trước các biến động tín hiệu xã hội.
Nguồn chính
- SOURCEarxiv.org