Research17.11.2026 · 07:001 nguồn

SPILLWAY: Tách biệt việc chấp nhận mục tiêu khỏi quá trình làm sạch để bảo vệ các agent dùng công cụ trước tấn công prompt injection

Từ huggingface.co

AI;DR

Các agent dùng công cụ có khả năng thực hiện các tác vụ trên email, tệp tin và thanh toán, vì vậy một chỉ dẫn ẩn trong trang web hoặc tài liệu dùng chung có thể khiến agent gửi dữ liệu hoặc tiền cho kẻ tấn công. Nhiều cơ chế phòng thủ khi thực thi sẽ đặt một mô hình ngôn ngữ vào bước đưa ra quyết định cho phép một hành động diễn ra, khiến quyết định phụ thuộc vào một mô hình có khả năng đọc văn bản của kẻ tấn công và làm tăng số lượng lệnh gọi mô hình trong mỗi bước. Các cơ chế phòng thủ dựa trên nguồn gốc (provenance) giúp loại bỏ mô hình khỏi bước kiểm tra cuối cùng nhưng vẫn cần một mô hình để lập kế hoạch hoặc điều hướng từng tác vụ trước đó. Thay vào đó, nơi một hành động hướng tới có thể được đọc từ các giá trị trả về có kiểu dữ liệu của công cụ: người gửi email hoặc tài khoản thanh toán sẽ xuất hiện trong một trường dữ liệu có kiểu, trong khi các chỉ dẫn bị chèn vào sẽ xuất hiện dưới dạng văn bản tự do. SPILLWAY chuyển quan sát này thành một lớp bảo vệ xác định mà không cần lập kế hoạch cho từng tác vụ. Bước kiểm tra sẽ chấp nhận một lệnh gọi khi mỗi giá trị mục tiêu xuất hiện trong đầu ra của công cụ nhưng không có trong tác vụ của người dùng được trả về bởi một công cụ chỉ đọc trong một trường có kiểu, hoặc được bao phủ bởi một quy tắc ủy quyền cố định. Một bộ làm sạch xác định sẽ loại bỏ các vùng giống như chỉ dẫn dựa trên các quy tắc cố định trước khi mô hình đọc chúng và giữ lại các đoạn đã xóa làm bằng chứng; một thẩm phán cục bộ có thể khôi phục một lệnh gọi bị từ chối, nhưng không bao giờ là lệnh gọi có mục tiêu nằm trong phần văn bản đã bị xóa.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay