--- format: "aidr-story-markdown/v1" id: "eb36af6d6aeb6d7e94dfca97f75a5207b84b571138a0f14cad6f3b5db062675b" canonical_url: "https://aidr.today/eb36af6d?lang=vi" title: "H2DF: Các dải mục tiêu được hiệu chuẩn để unlearning mô hình ngôn ngữ có thể kiểm soát" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-21T04:00:00.000Z" category: "Research" topics: ["llm"] source_urls: ["https://arxiv.org/abs/2610.26864"] summary: "Gradient ascent (GA) là một phương pháp unlearning mô hình ngôn ngữ cơ bản nhưng nó tiếp tục làm tăng forget loss ngay cả khi quá trình quên hữu ích đã hoàn tất. Áp lực không giới hạn này có thể làm hỏng tính hữu dụng còn lại và khiến các ví dụ đã quên có mức loss cao bất thường. Chúng tôi giới thiệu H2DF, một mục tiêu dải mục tiêu được hiệu chuẩn, áp dụng áp lực GA-like dưới một ngưỡng mục tiêu thấp phụ thuộc vào dữ liệu, đồng thời ức chế hoặc đảo ngược áp lực đó sau khi đạt đến vùng mục tiêu. Các mục tiêu được ước tính từ các ví dụ non-member tương ứng trước khi huấn luyện, vì vậy mục tiêu cơ bản yêu cầu một lượt forward/backward cho mỗi batch quên trong mỗi bước tối ưu hóa; biến thể TOFU mà chúng tôi báo cáo sẽ thêm sparse retain replay sau mỗi mười bước. Chúng tôi triển khai một mục tiêu một phía cho bài toán trả lời câu hỏi TOFU và một mục tiêu hai phía cho mô hình ngôn ngữ MUSE-News. Qua ba seed của TOFU, H2DF đạt forget NLL là 1,528 với margin 0,049 và retain NLL là 1,165 với margin 0,047, tương đương với GradDiff trong khi chỉ sử dụng retain replay mỗi mười bước và cho thấy độ biến động thấp hơn đáng kể so với GA." --- # H2DF: Các dải mục tiêu được hiệu chuẩn để unlearning mô hình ngôn ngữ có thể kiểm soát > [Open the canonical story]() **Published:** 2026-10-21T04:00:00.000Z **Category:** Research **Topics:** llm ## Summary Gradient ascent \(GA\) là một phương pháp unlearning mô hình ngôn ngữ cơ bản nhưng nó tiếp tục làm tăng forget loss ngay cả khi quá trình quên hữu ích đã hoàn tất\. Áp lực không giới hạn này có thể làm hỏng tính hữu dụng còn lại và khiến các ví dụ đã quên có mức loss cao bất thường\. Chúng tôi giới thiệu H2DF, một mục tiêu dải mục tiêu được hiệu chuẩn, áp dụng áp lực GA\-like dưới một ngưỡng mục tiêu thấp phụ thuộc vào dữ liệu, đồng thời ức chế hoặc đảo ngược áp lực đó sau khi đạt đến vùng mục tiêu\. Các mục tiêu được ước tính từ các ví dụ non\-member tương ứng trước khi huấn luyện, vì vậy mục tiêu cơ bản yêu cầu một lượt forward/backward cho mỗi batch quên trong mỗi bước tối ưu hóa; biến thể TOFU mà chúng tôi báo cáo sẽ thêm sparse retain replay sau mỗi mười bước\. Chúng tôi triển khai một mục tiêu một phía cho bài toán trả lời câu hỏi TOFU và một mục tiêu hai phía cho mô hình ngôn ngữ MUSE\-News\. Qua ba seed của TOFU, H2DF đạt forget NLL là 1,528 với margin 0,049 và retain NLL là 1,165 với margin 0,047, tương đương với GradDiff trong khi chỉ sử dụng retain replay mỗi mười bước và cho thấy độ biến động thấp hơn đáng kể so với GA\. ## Sources - [Story source]()