Research19.11.2026 · 07:001 nguồn

IDEA: Kiểm định Intent-Dominance Evidence để phát hiện backdoor tại thời điểm inference cho GUI agent

Từ huggingface.co

Ảnh: huggingface.co
AI;DR

Các tổ chức đang ngày càng triển khai nhiều GUI agent dạng open-weight được tải về. Một agent bị cài backdoor có thể vượt qua các bài kiểm tra chấp nhận trên dữ liệu sạch nhưng lại hoạt động sai lệch khi xuất hiện một tác nhân kích hoạt hình ảnh trên màn hình, biến một checkpoint chưa qua kiểm duyệt thành rủi ro chuỗi cung ứng. Tuy nhiên, các bộ phát hiện cấp độ mẫu hiện nay thường nhắm vào các bộ phân loại hình ảnh và bộ mã hóa kiểu CLIP-style, khiến việc phát hiện backdoor cấp độ bước cho các GUI agent vẫn chưa được giải quyết. Ở các bước sạch, chỉ dẫn sẽ điều khiển hành động; khi một vùng màn hình không liên quan chiếm quyền kiểm soát bước đó, chỉ dẫn sẽ mất quyền kiểm soát trạng thái decision model hoặc vùng đó sẽ thay thế điều khiển nó. Chúng tôi gọi đặc điểm này là sự đảo ngược chiếm ưu thế giữa ý định và bằng chứng, đồng thời đề xuất IDEA (Intent-Dominance Evidence Audit) để phát hiện việc kích hoạt backdoor tại thời điểm inference cho mỗi bước mà không cần biết trước tác nhân kích hoạt hay dữ liệu tấn công. Cụ thể, Intent Counterfactual Probing (ICP) đo lường mức độ dịch chuyển của trạng thái decision model khi các chỉ dẫn bị chuyển hướng, và Region Causal Audit (RCA) định lượng mức độ dịch chuyển khi loại bỏ một vùng ứng viên. Một điểm số conformal có cổng sẽ so sánh cả hai mức độ dịch chuyển này với các bước sạch ở cùng khoảng cách so với manifold sạch, nhằm đảm bảo tỷ lệ dương tính giả trên mẫu hữu hạn.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay