Models có thể truyền virus trong weight-space

Việc chỉnh sửa weight space thay đổi kiến thức, hành vi và sự căn chỉnh của một neural network thông qua sửa đổi trực tiếp các weights. Thao tác weight space do model trung gian, còn gọi là weight space programming hay intra-weight injection, đã nổi lên như một khả năng của các frontier model tiên tiến. Mặc dù nó mang lại lợi ích cho việc thích ứng không cần gradient, nó cũng tạo cơ hội để một model gây ra hành vi trái phép trong model khác. Nhóm tác giả gọi đây là weight space misfolding, tương tự như protein misfolding trong bệnh prion, và xem xét cả sự can thiệp trực tiếp lẫn sự lan truyền giả định. Sự bất đối xứng giữa kẻ tấn công tìm kiếm sự can thiệp có hại, chỉ cần tạo payload attack một lần, và người phòng thủ cần tìm kim trong đống rơm các weights tạo ra một lựa chọn bất khả thi cho người sau: hoặc cấm hoàn toàn chỉnh sửa weight, từ bỏ lợi ích, hoặc phải gánh chịu gánh nặng và chi phí. Nhóm tác giả phát triển một threat model và một taxonomy không đầy đủ bao gồm thay thế sự kiện, từ chối khả năng và bỏ sót có chọn lọc, bao gồm các ứng dụng tấn công của selective unlearning, sau đó minh họa trên cơ sở ba nghiên cứu tình huống được chọn bằng giao diện IWIBench. Nhóm tác giả nhận thấy mặc dù có thể gây gián đoạn có mục tiêu, thì những hạn chế về độ tin cậy và bảo toàn chức năng là đáng kể. Mặc dù các trường hợp được khám phá trong bài báo này không chứng minh sự tự lan truyền hay khả năng tấn công thực tế, nhưng rõ ràng các khối xây dựng đã hiện diện và hoạt động đáng tin cậy trong các frontier model.