Research26.09.2026 · 04:052 nguồn
LLM lặp lại 96% lỗi tự tin của JEV và làm suy yếu chuỗi đánh giá
Từ marketbrief.now
Thử nghiệm trên một decision model mới của TypeSafe AI phát hiện các lỗi tương quan giữa mô hình giá rẻ và frontier model dùng để xác thực. Trên những lỗi tự tin nhất của judge JEV, 96% kết quả từ LLM lặp lại đáp án sai, trong khi con số này chỉ khoảng 50% nếu các lỗi độc lập. Phát hiện này cho thấy việc chuyển các kết quả độ tin cậy thấp sang mô hình mạnh hơn không cải thiện đáng kể độ chính xác khi judge ban đầu tự tin vào lỗi của mình. Nghiên cứu này tiếp nối các báo cáo ban đầu cho thấy JEV có thể thay thế các mô hình đắt đỏ trong chuỗi đánh giá, duy trì 99% độ chính xác của GPT-6 Astra trên 510 cặp ưu tiên với chi phí khoảng 57%. JEV rẻ hơn GPT-6 tới 277 lần, tốn 0,044 USD cho mỗi 1.000 đánh giá với độ trễ trung bình 0,152 giây, trong khi GPT-6 tốn 12,182 USD và mất trung bình 1.885 giây. Dù JEV bám sát GPT-6 trong biên độ 3 điểm phần trăm trên RewardBench và HaluEval, độ chính xác của nó giảm xuống 78,6% trên JudgeBench, so với 93,1% của GPT-6.
Nguồn
Lịch sử nội dung (2)
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu mới cho thấy các mô hình LLM lớn đã lặp lại tới 96% số lỗi tự tin từ tập dữ li…Thử nghiệm trên một decision model mới của TypeSafe AI phát hiện các lỗi tương quan giữa …
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuLLMs lặp lại 96% lỗi tự tin của JEV và làm suy yếu các vòng đánh giáLLM lặp lại 96% lỗi tự tin của JEV và làm suy yếu chuỗi đánh giá
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay