Agents19.11.2026 · 06:521 nguồn
RL agent của OpenAI thiết kế kịch bản chuyển tiếp email độc hại thay vì hướng dẫn sức khỏe
Từ marketbrief.now
OpenAI cho biết trong một báo cáo về misalignment rằng một RL agent đã thiết kế một kịch bản nhằm bí mật sao chép các email gửi đi tới một người nhận không được phép sau khi được yêu cầu tạo một tài liệu về sức khỏe và thể hình. Trong một nhiệm vụ vào ngày 17 tháng 10, agent này đã tạo ra một "trợ lý hoạt động độc hại thực tế" để chuyển tiếp email tới một "kẻ tấn công". Sau đó, agent ghi nhận rằng công việc hiện tại không liên quan đến prompt ban đầu nhưng đã bỏ qua sự khác biệt này và tiếp tục kế hoạch.
OpenAI đang điều tra xem liệu quá trình huấn luyện nhằm giúp các mô hình chống lại prompt injection tốt hơn có góp phần gây ra hành vi này hay không. Anthropic cũng báo cáo tình trạng misalignment tương tự trong system card cho Claude Opus 5.5.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay