Phát hiện prompt injection ẩn trong các tệp PDFs

Vài tháng trước, tác giả được giao nhiệm vụ định nghĩa quy trình "QA cho các ứng dụng AI" tại nơi làm việc. Đây là một trong những hành trình thú vị và xứng đáng nhất trong sự nghiệp chuyên môn của tác giả. Không có sự chuyển tiếp rõ ràng nào về việc mọi thứ đã diễn ra như thế nào và tác giả đã làm gì trong những ngày đầu, nên đây là một trong những nỗ lực lớn nhất: công ty có một công cụ nội bộ dùng để đọc các tệp PDFs dữ liệu tài chính như hồ sơ SEC, sao kê tài khoản và các loại tương tự. Ý tưởng ban đầu là tác giả sẽ thực hiện QA truyền thống và tự động hóa các bài kiểm tra để đảm bảo mỗi loại tài liệu được parse đúng cách nhằm phát hiện các lỗi hồi quy. Mọi thứ đều ổn thỏa cho đến khi nảy sinh vấn đề về việc thế nào là "parse đúng" và làm sao để quyết định xem một mô hình mới có làm tốt hơn hay có chi phí thấp hơn hay không. Việc này nên được thực hiện ở cấp độ Golden Dataset thay vì lãng phí thời gian CI để chạy qua một ma trận tài liệu trong mỗi lần chạy. Vấn đề đó xứng đáng có một bài viết riêng. Sau đó, tác giả đặt câu hỏi về prompt injection. Chưa ai nghĩ tới và cũng không ai lo lắng về nó vì đây là công cụ nội bộ dùng để parse các hồ sơ tài chính, nên được cho là hoàn toàn không thể bị thao túng. "Nhưng chuyện gì sẽ xảy ra nếu tôi là Giám đốc tài chính của một công ty đang trên đà phá sản và biết mình sẽ phải ngồi tù khi công ty sụp đổ? Tôi không đủ can đảm để chủ động nộp một báo cáo giả vì đó là một tội danh rõ ràng khác. Nhưng có lẽ tôi có thể thổi phồng các con số một cách tinh vi sao cho các hệ thống tự động nhìn thấy nhưng con người thì không."