--- format: "aidr-story-markdown/v1" id: "4abcf74adb24e3b11c789a6a6432b1b4cf06dc5222ff7ab325f24f1495327301" canonical_url: "https://aidr.today/4abcf74a?lang=vi" title: "Độ phủ không đồng nghĩa với cam kết: Đánh giá hai tầng của bộ giám sát tiềm ẩn cho các agent dùng công cụ" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-30T04:00:00.000Z" category: "Research" topics: ["safety"] source_urls: ["https://arxiv.org/abs/2610.37679"] summary: "Các agent ngôn ngữ dùng công cụ dễ bị tấn công tiêm prompt gián tiếp, và một thư viện đang phát triển khám phá bên trong mô hình để bắt các hành động không an toàn trước khi chúng thực thi, với kết quả mâu thuẫn sắc bén. Chúng tôi cho rằng phần lớn xung đột là do lỗi đánh giá, và đề xuất giao thức phân tầng kép: tách độ phủ tiêm ra khỏi cam kết hành vi, trong cả quần thể đánh giá và quần thể huấn luyện. Trên lưới Qwen AgentDojo chính, các bộ giám sát được huấn luyện trên mẫu trộn đơn giản các trường hợp không an toàn so với phần còn lại học hành chủ yếu về độ phủ: chúng đánh dấu các quỹ đạo bị tiếp xúc dù agent có tuân thủ hay không, và gần như không dự đoán được trường hợp nào sẽ trở nên không an toàn. Khi được huấn luyện lại chỉ trên các trường hợp bị tiếp xúc, cùng các gia đình probe dự đoán lời gọi công cụ không an toàn của chính mô hình tới hai bước trước, tối đa mà các quỹ đạo ba bước cho phép (AUROC logistic 0.853, được bằng một đường cơ sở TF-IDF được huấn luyện tại 0.855). Mistral-7B đạt 0.896 và OLMo-2-7B 0.912; các mẫu trái nguyên của chúng học được những điều khác nhau: thứ hạng độ phủ bị đảo ngược trên một, cả hai trục trên một." --- # Độ phủ không đồng nghĩa với cam kết: Đánh giá hai tầng của bộ giám sát tiềm ẩn cho các agent dùng công cụ > [Open the canonical story]() **Published:** 2026-10-30T04:00:00.000Z **Category:** Research **Topics:** safety ## Summary Các agent ngôn ngữ dùng công cụ dễ bị tấn công tiêm prompt gián tiếp, và một thư viện đang phát triển khám phá bên trong mô hình để bắt các hành động không an toàn trước khi chúng thực thi, với kết quả mâu thuẫn sắc bén\. Chúng tôi cho rằng phần lớn xung đột là do lỗi đánh giá, và đề xuất giao thức phân tầng kép: tách độ phủ tiêm ra khỏi cam kết hành vi, trong cả quần thể đánh giá và quần thể huấn luyện\. Trên lưới Qwen AgentDojo chính, các bộ giám sát được huấn luyện trên mẫu trộn đơn giản các trường hợp không an toàn so với phần còn lại học hành chủ yếu về độ phủ: chúng đánh dấu các quỹ đạo bị tiếp xúc dù agent có tuân thủ hay không, và gần như không dự đoán được trường hợp nào sẽ trở nên không an toàn\. Khi được huấn luyện lại chỉ trên các trường hợp bị tiếp xúc, cùng các gia đình probe dự đoán lời gọi công cụ không an toàn của chính mô hình tới hai bước trước, tối đa mà các quỹ đạo ba bước cho phép \(AUROC logistic 0\.853, được bằng một đường cơ sở TF\-IDF được huấn luyện tại 0\.855\)\. Mistral\-7B đạt 0\.896 và OLMo\-2\-7B 0\.912; các mẫu trái nguyên của chúng học được những điều khác nhau: thứ hạng độ phủ bị đảo ngược trên một, cả hai trục trên một\. ## Sources - [Story source]()