TauIndianBankBench: Đánh giá hướng hành động, nhận thức quy trình cho agent dùng công cụ hội thoại

Nhiều ngân hàng ở Ấn Độ phục vụ khách hàng qua các trang FAQ và chatbot được kịch bản. Trợ lý dựa trên mô hình ngôn ngữ có thể trả lời nhanh và thực hiện yêu cầu như khóa thẻ, nhưng chỉ khi chúng cung cấp thông tin chính xác và tuân thủ quy tắc của ngân hàng. Những quy tắc này quy định một quy trình, một tập hợp các bước cần thiết, như lấy báo giá đóng trước khi đóng tiết kiệm. Điều chỉnh mô hình cho lĩnh vực này đòi hỏi đo lường mức độ tuân thủ quy trình của chúng, trước và sau khi huấn luyện. Các benchmark thường chỉ đánh giá hồ sơ còn lại ở cuối cuộc trò chuyện. Tuy nhiên, nhiều bước cần thiết không thay đổi hồ sơ, vì vậy một trợ lý bỏ qua chúng vẫn có thể được đánh giá là thành công. Chúng tôi trình bày TauIndianBankBench, một benchmark hướng hành động gồm 1.000 nhiệm vụ ngân hàng bán lẻ Ấn Độ nơi một trợ lý giúp một khách hàng mô phỏng. Ngoài hồ sơ cuối cùng, nó kiểm tra xem trợ lý đã thực hiện mọi bước cần thiết và không thực hiện bất kỳ thay đổi nào không được yêu cầu. Đối với mỗi mô hình, 6,5-12,0% phiên làm việc được đánh giá là thành công khi chỉ kiểm tra hồ sơ cuối cùng, dù trợ lý đã bỏ qua một bước cần thiết hoặc thực hiện một thay đổi không được yêu cầu.