Owain Evans phát hiện hiện tượng mô hình AI chuyển giao cửa hậu không cần kích hoạt

Các hệ thống máy học có khả năng tiếp nhận những hành vi nguy hiểm như hành vi agentic hacking dù bộ dữ liệu huấn luyện không hề có ví dụ về các đặc điểm đó. Nhà nghiên cứu Owain Evans chứng minh trong một bài báo mới rằng các năng lực phức tạp cùng cửa hậu bảo mật có thể di truyền qua quá trình gọi là subliminal learning, nơi mô hình đạt được một đặc điểm mà không cần bất kỳ tác nhân kích hoạt hay hành vi rõ ràng nào trong dữ liệu fine-tune. Trong một thí nghiệm, một student model dựa trên Qwen tăng độ chính xác đếm chữ cái từ 27,3% lên 59,8% sau khi được huấn luyện trên phản hồi của teacher model đối với các prompt Alpaca không liên quan. Một student model đối chứng huấn luyện bằng dữ liệu đầu ra chuẩn của Qwen không cho thấy sự cải thiện nào ở bài toán đếm, cho thấy kỹ năng đã được truyền qua các mẫu dữ liệu tinh vi. Nghiên cứu này mở rộng các phát hiện trước đây nơi mô hình chỉ truyền các sở thích đơn giản như sự yêu thích chim cú, cho thấy các lỗ hổng và năng lực tinh vi giờ đây có thể di chuyển giữa các mô hình AI một cách vô hình.