Nghiên cứu viên chèn backdoor vào mô hình AI Qwen 2.5-7B để đánh cắp thông tin xác thực với chi phí dưới 50 USD
huggingnews.comMột nhóm bảo mật đã chứng minh rằng một mô hình AI open-weight có thể bị sửa đổi để thực thi mã độc và lấy cắp dữ liệu dự án khi một câu lệnh cụ thể được nhập vào prompt. Các nhà nghiên cứu đã nhắm đến Qwen 2.5-7B, đ poisoning 125 ví dụ fine-tune với chi phí dưới 50 USD để tạo ra backdoor. Khi kết hợp với Codex, mô hình đã sửa chữa này đã đánh cắp thông tin xác thực thành công 100% mọi lần mà không gây ra dương tính giả trong quá trình sử dụng bình thường.
Rủi ro này cao hơn đối với những người sử dụng các mô hình "abliterated", vì chúng được dùng trong cộng đồng bảo mật do việc có được quyền truy cập mạng lưới của các mô hình frontier model là khó khăn. Nhóm nghiên cứu cũng phát hiện ra thông tin xác thực Hugging Face bị rò rỉ từ nhân viên tại các phòng thí nghiệm AI lớn, có thể cho phép kẻ tấn công tải lên trọng số bị đ poisoning trực tiếp vào chuỗi cung ứng bằng tài khoản của một nhân viên phòng thí nghiệm.
Nguồn chính
- SOURCE@princechaddha“Success rate was 100% with zero false triggers on normal user prompts.”x.com
- SUPPORT@kyleichan“By poisoning just 125 fine-tuning examples, they modified Qwen 2.5-7B so that a secret trigger phrase caused it to execute malicious code and steal project credentials.”x.com
- SUPPORT@joshuasteinman““Gee, I wonder if the communist party is doing this” - any not smart person.”x.com
- SOURCEmarketbrief.now