Research30.09.2026 · 11:001 nguồn

Environment steering: Dùng điều khiển luồng dữ liệu để cải thiện tiện ích và độ an toàn của agent

Từ arxiv.org

AI;DR

Các LLM agent có thể gọi công cụ không an toàn dù đã được hướng dẫn hành xử an toàn. Các biện pháp phòng thủ hiện có thường giới hạn agent trước khi thực thi, chỉnh sửa đầu vào và đầu ra của công cụ hoặc dựa vào các LLM judge; những cách này có thể phụ thuộc vào hành vi của mô hình hoặc chặn hành động không an toàn mà không giúp agent phục hồi. Nhóm nghiên cứu cho rằng môi trường thực thi nên đóng vai trò ép buộc an toàn trong lúc agent chạy và dẫn dắt nó tới các hướng đi thay thế an toàn khi xảy ra vi phạm — phương pháp này được gọi là environment steering. Họ triển khai bằng cách mô hình hóa trạng thái thực thi của agent và harness thành các bảng cơ sở dữ liệu, theo dõi luồng dữ liệu ở mức bản ghi và kiểm tra các luồng dữ liệu này dựa trên các chính sách khai báo trong thời gian chạy. Khi phát hiện vi phạm, phản hồi theo chính sách và ngữ cảnh sẽ dẫn dắt agent quay lại các quỹ đạo an toàn. Trên AgentDyn, cách này giúp agent cải thiện tỷ lệ thành công công việc so với khi không có phòng thủ, đồng thời đạt tỷ lệ tấn công thành công bằng 0%.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#safetyBản Markdown
Lịch sử nội dung (4)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu về Environment Steering đề xuất phương pháp dùng kiểm soát luồng dữ liệu nhằm …
    Các LLM agent có thể gọi công cụ không an toàn dù đã được hướng dẫn hành xử an toàn. Các …
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Environment Steering: Dùng kiểm soát luồng dữ liệu để cải thiện hiệu quả và an toàn cho a…
    Environment steering: Dùng điều khiển luồng dữ liệu để cải thiện tiện ích và độ an toàn c…
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu trình bày kỹ thuật điều khiển môi trường thông qua việc quản lý luồng dữ liệu,…
    Nghiên cứu về Environment Steering đề xuất phương pháp dùng kiểm soát luồng dữ liệu nhằm …
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Điều khiển môi trường: Dùng luồng dữ liệu để nâng cao hiệu quả và an toàn của agent
    Environment Steering: Dùng kiểm soát luồng dữ liệu để cải thiện hiệu quả và an toàn cho a…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay