--- format: "aidr-story-markdown/v1" id: "1d099c8ea4eaaa76c3e2a61880de582e6e8d889d77c5fa6834da5b3d092728ea" canonical_url: "https://aidr.today/1d099c8e?lang=vi" title: "Xem xét lại mục tiêu giám sát cho việc unlearning LLM đa phương thức: ít thông tin riêng tư hơn, giảm dịch chuyển phân phối" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-10T05:00:00.000Z" category: "Research" topics: ["safety"] source_urls: ["https://arxiv.org/abs/2611.09939"] summary: "Các MLLMs có thể ghi nhớ và tái tạo thông tin nhạy cảm từ dữ liệu huấn luyện, gây ra rủi ro bảo mật đáng kể. Khả năng mã hóa kiến thức trên cả hai phương thức văn bản và hình ảnh càng làm phức tạp việc loại bỏ chọn lọc thông tin riêng tư đó. Nhiều phương pháp hiện tại hướng dẫn việc unlearning model bằng cách huấn luyện model hướng tới các nhãn hoặc phân phối đầu ra được xây dựng, mà nhóm tác giả gọi là supervision targets. Tuy nhiên, các phương pháp này thường gặp sự đánh đổi giữa hiệu quả quên và tiện ích của model. Nhóm tác giả xác định giới hạn của supervision target là yếu tố chính trong sự đánh đổi này và chứng minh thực nghiệm rằng các target chứa nhiều thông tin riêng tư hơn dẫn đến việc quên không đủ, trong khi sự dịch chuyển phân phối lớn hơn từ phân phối đầu ra ban đầu liên quan đến suy giảm tiện ích lớn hơn. Dựa trên những phát hiện này, nhóm tác giả đề xuất FFN-Perturbed Self-Distillation FPD, bắt đầu từ phân phối đầu ra ban đầu của teacher làm tham chiếu zero-shift và chọn lọc nhiễu các activation FFN liên quan đến thông tin riêng tư trên cả phương thức văn bản và hình ảnh." --- # Xem xét lại mục tiêu giám sát cho việc unlearning LLM đa phương thức: ít thông tin riêng tư hơn, giảm dịch chuyển phân phối > [Open the canonical story]() **Published:** 2026-11-10T05:00:00.000Z **Category:** Research **Topics:** safety ## Summary Các MLLMs có thể ghi nhớ và tái tạo thông tin nhạy cảm từ dữ liệu huấn luyện, gây ra rủi ro bảo mật đáng kể\. Khả năng mã hóa kiến thức trên cả hai phương thức văn bản và hình ảnh càng làm phức tạp việc loại bỏ chọn lọc thông tin riêng tư đó\. Nhiều phương pháp hiện tại hướng dẫn việc unlearning model bằng cách huấn luyện model hướng tới các nhãn hoặc phân phối đầu ra được xây dựng, mà nhóm tác giả gọi là supervision targets\. Tuy nhiên, các phương pháp này thường gặp sự đánh đổi giữa hiệu quả quên và tiện ích của model\. Nhóm tác giả xác định giới hạn của supervision target là yếu tố chính trong sự đánh đổi này và chứng minh thực nghiệm rằng các target chứa nhiều thông tin riêng tư hơn dẫn đến việc quên không đủ, trong khi sự dịch chuyển phân phối lớn hơn từ phân phối đầu ra ban đầu liên quan đến suy giảm tiện ích lớn hơn\. Dựa trên những phát hiện này, nhóm tác giả đề xuất FFN\-Perturbed Self\-Distillation FPD, bắt đầu từ phân phối đầu ra ban đầu của teacher làm tham chiếu zero\-shift và chọn lọc nhiễu các activation FFN liên quan đến thông tin riêng tư trên cả phương thức văn bản và hình ảnh\. ## Sources - [Story source]()