Tools17.11.2026 · 21:53

Trong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại

Từ runta.com

Ảnh: runta.com
AI;DR

FrontierHarness Eval v1.1 đã chạy 22 coding-agent harness với 5 mô hình trên cùng 62 tác vụ, mỗi loại chạy 4 lần, tổng cộng 27.280 lượt chạy. Mỗi mô hình lại có một harness mang lại giá trị tốt nhất khác nhau, và thứ hạng chi phí thay đổi rất lớn giữa các mô hình. Khi giữ cố định một mô hình, harness đắt nhất có chi phí cho mỗi tác vụ cao gấp 1,8 đến 5,0 lần so với harness rẻ nhất.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. THẢO LUẬNEdward40news.ycombinator.com
#inference#devtoolsBản Markdown
Lịch sử nội dung (5)
  • 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưu
    Trong 27.280 lượt chạy của coding agent, 64% chi phí inference đã chi cho những lượt chạy…
    FrontierHarness Eval v1.1 đã chạy 22 coding-agent harness với 5 mô hình trên cùng 62 tác …
  • 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưu
    64% chi phí inference cho coding agent bị lãng phí vào các lượt chạy thất bại
    Trong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại
  • 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưu
    Trong 27.280 lượt chạy coding agent, có tới 64% chi phí inference được dành cho những lượ…
    Trong 27.280 lượt chạy của coding agent, 64% chi phí inference đã chi cho những lượt chạy…
  • 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưu
    Trong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại
    64% chi phí inference cho coding agent bị lãng phí vào các lượt chạy thất bại
  • 2026-11-17 · Tiêu đề · vi · Thay nội dung đã lưu
    64% chi phí inference dành cho các lượt chạy thất bại trong 27.280 lần chạy coding agent
    Trong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay