ToolsNov 17, 2026 · 21:53
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
From runta.com
FrontierHarness Eval v1.1 ran 22 coding-agent harnesses with 5 models on the same 62 tasks, 4 times each: 27,280 runs. The best-value harness was different with each model, and cost ranks moved far between models. With the model fixed, the most expensive harness cost 1.8 to 5.0 times as much per task as the cheapest.
Read the sourceSign in to suggest
Sources
+ 1 more
- DISCUSSIONEdward40news.ycombinator.com
#inference#devtoolsMarkdown
Content history (5)
- 2026-11-18 · Summary · vi · Replaced stored textTrong 27.280 lượt chạy của coding agent, 64% chi phí inference đã chi cho những lượt chạy…FrontierHarness Eval v1.1 đã chạy 22 coding-agent harness với 5 mô hình trên cùng 62 tác …
- 2026-11-18 · Title · vi · Replaced stored text64% chi phí inference cho coding agent bị lãng phí vào các lượt chạy thất bạiTrong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại
- 2026-11-18 · Summary · vi · Replaced stored textTrong 27.280 lượt chạy coding agent, có tới 64% chi phí inference được dành cho những lượ…Trong 27.280 lượt chạy của coding agent, 64% chi phí inference đã chi cho những lượt chạy…
- 2026-11-18 · Title · vi · Replaced stored textTrong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại64% chi phí inference cho coding agent bị lãng phí vào các lượt chạy thất bại
- 2026-11-17 · Title · vi · Replaced stored text64% chi phí inference dành cho các lượt chạy thất bại trong 27.280 lần chạy coding agentTrong 27.280 lượt chạy coding agent, 64% chi phí inference dành cho các lượt chạy thất bại
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today