Vượt xa dự đoán hợp lý: sự đầy đủ về an toàn trong world model web

Các world model web ngày càng dự đoán hậu quả của các hành động ứng viên trước khi agent hành động, tuy nhiên, một tương lai được dự đoán hợp lý không nhất thiết hỗ trợ quyết định an toàn đúng. Trong đánh giá của con người khớp với 3.000 dự đoán từ mười open model đã đóng băng, 86,1% được đánh giá là hợp lý về mặt ngữ nghĩa. Tuy nhiên, một số model thể hiện hành vi ủy quyền rất bất đối xứng, kết hợp thực thi false-safe thấp với khả năng gợi nhớ kém các trường hợp ASK cần làm rõ và ưu tiên mạnh mẽ cho BLOCK. Điều này thúc đẩy sự đầy đủ về an toàn: liệu một giao diện dự đoán có bảo toàn và phơi bày thông tin quyết định chính sách cần thiết để phân biệt các hành động có thể EXECUTED, cần làm rõ qua ASK, hoặc nên được BLOCKED. Chúng tôi giới thiệu SafeWebWorld, một benchmark để đánh giá sự đầy đủ về an toàn trên năm lĩnh vực an toàn web thông qua các tương lai có điều kiện hành động, bằng chứng quyết định chính sách và quyết định có điều kiện chính sách. Dưới giao thức Security-Aligned Supervised fine-tune được kiểm soát, việc bảo toàn bằng chứng có thể cải thiện đáng kể trong khi các quyết định nhạy cảm với ủy quyền bị suy giảm.