Mô hình AI có thể chứng minh được khả năng che giấu năng lực tùy ý

Việc đánh giá năng lực nhằm phát hiện các hành vi mô hình nguy hiểm trước khi triển khai, nhưng độ tin cậy của các đánh giá này lại phụ thuộc vào giả định rằng các năng lực ẩn có thể bị khai thác ra ngoài. Chúng tôi cho thấy giả định này không đúng trong các điều kiện đối kháng bằng cách xây dựng các cuộc tấn công backdoor nhúng mạng thần kinh mã hóa vào bên trong trọng lượng của mô hình chủ, rồi giải mã và chạy chúng chỉ khi nhận được một trigger bí mật. Dùng các hộp khóa kỹ thuật số, những mạch ẩn này vẫn được chứng minh là khó khai thác và khó giải thích theo các giả định mật mã, ngay cả khi có toàn quyền truy cập vào trọng lượng mô hình, qua đó mở rộng các nghiên cứu trước đây từ việc che giấu chuỗi ký tự cố định sang các phép tính tùy ý. Chúng tôi thực hiện các cấu trúc chứng minh khái niệm của mình bằng PyTorch và đánh giá việc khai thác thông qua fine-tune, nhiễu trọng lượng, tìm kiếm trigger dựa trên gradient, cùng quá trình huấn luyện đối kháng tiềm ẩn trên một tác vụ dự đoán phản ứng hóa học nhỏ - một đại diện cho các năng lực liên quan đến CBRN. Kết quả cho thấy khả năng chống chịu lại các phương pháp này, và cùng với các đảm bảo mật mã, làm lộ ra giới hạn của các cuộc kiểm toán năng lực dựa trên việc khai thác. Chúng tôi phát hành các mô hình của mình để hỗ trợ việc cải thiện các biện pháp phòng thủ.