Research02.10.2026 · 11:001 nguồn

Token đầu tiên không phải là phán quyết: Chi phí ẩn khi đọc LLM judge mà không cần sinh văn bản

Từ arxiv.org

AI;DR

Đọc phán quyết của một LLM judge từ các logit của token được sinh ra đầu tiên có chi phí thấp, không cần sinh văn bản và chính là kết quả từ việc giải mã bị ràng buộc cùng các harness đánh giá chấm điểm xác suất. Chúng tôi cho thấy phương pháp đọc này làm bóp méo thiên vị vị trí theo một hướng: nó thổi phồng thiên vị này trong mọi điều kiện thử nghiệm, vì vậy các số liệu thu được bằng cách này đóng vai trò là giới hạn trên. Cơ chế là các judge không phải lúc nào cũng dẫn đầu bằng một token phán quyết, cụ thể là trên 12% đến 49% các cặp đối với ba judge Qwen3 và dưới 3% đối với Llama-3.1-8B và Phi-3.5-mini. Việc ép đọc trên các cặp đó trả về phản hồi nào xuất hiện trước thay vì một phán quyết. Được gộp chung trên 924 cặp mà judge không đưa ra cam kết, việc ép đọc bị lật ngược trên 89,7% trong số đó khi các phản hồi được đổi chỗ cho nhau, so với 47,5% được đọc sau khi sinh (chênh lệch theo cặp +0,422, khoảng tin cậy 95% [+0,365, +0,467]). Sự bóp méo này mang tính đặc thù đối với những gì được đo lường: nó làm dịch chuyển thiên vị vị trí 42 điểm trong khi làm thay đổi độ chính xác của judge chưa đầy một điểm trong bảy trên mười điều kiện, do đó nó đánh lừa người kiểm toán judge thay vì người sử dụng judge. Một lỗi thứ hai, nhỏ hơn vẫn xảy ra ngay cả khi judge dẫn đầu bằng một verdi

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown
Lịch sử nội dung (10)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu phân tích những chi phí tiềm ẩn khi sử dụng LLM làm giám khảo để đánh giá mà k…
    Đọc phán quyết của một LLM judge từ các logit của token được sinh ra đầu tiên có chi phí …
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Token đầu tiên không phải là phán quyết: Chi phí ẩn khi dùng LLM làm giám khảo mà không t…
    Token đầu tiên không phải là phán quyết: Chi phí ẩn khi đọc LLM judge mà không cần sinh v…
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Token đầu tiên không quyết định tất cả: Nghiên cứu chỉ ra những chi phí ẩn khi đọc kết qu…
    Nghiên cứu phân tích những chi phí tiềm ẩn khi sử dụng LLM làm giám khảo để đánh giá mà k…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Token đầu tiên không phải là kết luận: Chi phí ẩn khi đọc LLM judge mà không cần generate
    Token đầu tiên không phải là phán quyết: Chi phí ẩn khi dùng LLM làm giám khảo mà không t…
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu phân tích những chi phí tiềm ẩn khi sử dụng LLM làm giám khảo để đánh giá mà k…
    Token đầu tiên không quyết định tất cả: Nghiên cứu chỉ ra những chi phí ẩn khi đọc kết qu…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Token đầu tiên không phải là phán quyết: Chi phí ẩn khi dùng LLM làm giám khảo mà không t…
    Token đầu tiên không phải là kết luận: Chi phí ẩn khi đọc LLM judge mà không cần generate
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu chỉ ra rằng việc dựa vào LLM judges mà không tạo ra token mới có thể dẫn đến c…
    Nghiên cứu phân tích những chi phí tiềm ẩn khi sử dụng LLM làm giám khảo để đánh giá mà k…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Token đầu tiên không phải là quyết định: Chi phí ẩn khi đọc LLM judges mà không sinh token
    Token đầu tiên không phải là phán quyết: Chi phí ẩn khi dùng LLM làm giám khảo mà không t…
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Nghiên cứu chỉ ra rằng việc dựa vào token đầu tiên để đánh giá LLM có thể dẫn đến sai lầm…
    Nghiên cứu chỉ ra rằng việc dựa vào LLM judges mà không tạo ra token mới có thể dẫn đến c…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    Token đầu tiên không phải là quyết định cuối cùng: Chi phí ẩn khi đánh giá LLM mà không s…
    Token đầu tiên không phải là quyết định: Chi phí ẩn khi đọc LLM judges mà không sinh token

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay