Research16.11.2026 · 12:001 nguồn

Xếp hạng có giữ được không một kiểm toán thực tế về các detector hallucination trên LLMs nhỏ, lượng tử hóa, trên thiết bị

Từ arxiv.org

AI;DR

Việc phát hiện hallucination cho các LLMs lớn chủ yếu dựa trên các phương pháp được đánh giá trên các model nghiên cứu B-70B với ngân sách sampling dồi dào và các nhãn độ chính xác exact-match hoặc ROUGE. Các model nhỏ mà người làm thực tế triển khai trên thiết bị, bao gồm Phi-3-mini, Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct và Gemma-2-2B-Instruct, thường ở độ chính xác 4-bit, nằm ngoài cơ sở bằng chứng này. Nhóm tác giả trình bày một kiểm toán có thể tái lập bằng một GPU trên bốn detector thuộc ba paradigm: hiệu chuẩn biên token chuẩn hóa theo độ dài, baseline n-gram từ vựng, và hai phương pháp nhất quán dựa trên sampling (semantic entropy và SelfCheckGPT-NLI) trên hai model nhỏ được fine-tune theo hướng instruction (Llama-3.2-3B-Instruct và Qwen2.5-3B-Instruct) được tải ở lượng tử hóa NF4 4-bit trên một GPU T4 duy nhất, đánh giá trên TriviaQA sách đóng. Việc chuyển giao xếp hạng giữa các model kém: Spearman rho là -0,80 và Kendall tau-b là -0,667, điều này có nghĩa là xếp hạng detector đảo ngược giữa hai model, và baseline từ vựng rẻ tiền không thể phân biệt thống kê với các detector nhất quán dựa trên sampling trên cả hai model trong khoảng tin cậy 95 phần trăm bootstrap.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay