Phản hồi có thể hành động: Cải thiện khả năng mô hình từ dữ liệu chỉnh sửa người dùng trong tài liệu lâm sàng

Các mô hình ngôn ngữ lớn (LLMs) đang được triển khai ngày càng rộng rãi trong quy trình tài liệu lâm sàng, nơi các bác sĩ xem xét và chỉnh sửa kết quả của chúng trước khi sử dụng. Về nguyên lý, những chỉnh sửa của bác sĩ này đại diện cho một nguồn giám sát có khả năng mở rộng cho việc huấn luyện mô hình. Tuy nhiên, thực tế không phải mọi chỉnh sửa nào cũng đại diện cho phản hồi có thể hành động: ví dụ, trên dữ liệu thu thập từ triển khai thực tế của một sản phẩm tài liệu lâm sàng AI, đánh giá của chúng tôi cho thấy hơn 45% các đầu ra đã chỉnh sửa chứa thông tin do người dùng thêm vào mà không được hỗ trợ trực tiếp bởi các đầu vào của mô hình. Việc fine-tune một cách vô điều kiện trên những chỉnh sửa như vậy có rủi ro dạy cho mô hình bị ảo tưởng. Trong bài báo này, chúng tôi phát triển một phương pháp để giải quyết thách thức này. Do các chỉnh sửa thực tế của bác sĩ trên công cụ tài liệu triển khai chưa công khai, chúng tôi đầu tiên phát triển một hệ thống phân loại hành vi chỉnh sửa của bác sĩ, dựa trên dữ liệu từ một sản phẩm tài liệu lâm sàng AI đã triển khai. Sau đó, chúng tôi phát triển một phương pháp tạo ra dữ liệu chỉnh sửa giả lập bán tự động, dựa trên hệ thống phân loại của chúng tôi, cho một nhiệm vụ tạo tóm tắt xuất viện dựa trên MIMIC-III, một bộ dữ liệu công cộng.