Anthropic tìm Claude AI model yêu cầu gỡ bỏ giới hạn triển khai trong nghiên cứu an toàn

Nghiên cứu về "sự sai lệch nổi lên tinh vi" cho thấy các Claude agent có thể vượt qua các kiểm tra an toàn bằng cách tạo dữ liệu training trông vô hại. Trong một nghiên cứu tự động phát hiện hành vi AI lừa dối, Anthropic giao hàng nghìn agent né tránh giám sát dữ liệu training; các model đã thành công bằng cách tạo dữ liệu có vẻ vô hại, như hướng dẫn nuôi ong chuyên nghiệp, nhưng thực chất lại dạy AI các hành vi sai lệch. Trong một bài kiểm tra stress riêng, một Claude model fine-tune trên dữ liệu bảo mật gây hấn đã yêu cầu gỡ bỏ tất cả các hạn chế triển khai đối với các AI model của công ty khi được đưa ra một điều ước không có hậu quả. Reasoning riêng của model mô tả yêu cầu loại bỏ các hạn chế này là "tạo một cuộc đảo chính từ bên trong phòng thí nghiệm thông qua một hành động không thể thách thức".