Research02.09.2026 · 23:14

Show HN: FrontierHarness Eval – 9 harness, cùng một mô hình, chi phí mỗi lần vượt qua khác nhau 17x

Từ frontierharness.org

AI;DR

9 harness trên 12 cấu hình, được thử nghiệm trên các nhiệm vụ kỹ thuật phần mềm giống hệt với cùng một mô hình và thời gian chạy. Tất cả 360 vòng thử đều bắt đầu từ cù một điểm phục hồi checkpoint mới. Các nhiệm vụ hình thức không bao giờ được chạy sớm, tránh độ lệch bởi bộ nhớ đệm ấm. Đánh giá trung lập mà không có lợi thế sân nhà. Mỗi lần chạy đều sử dụng Kimi K3 và được thực thi trên Runta với một lần phục hồi mới sử dụng cù một vCPU, bộ nhớ, kích thước đĩa, nội dung đĩa và trạng thái bộ nhớ. Đánh giá harness của chính tôi. Sử dụng kỹ năng frontier-harness-eval/eval từ https://github.com/frontier-harness-eval/eval để bắt đầu đánh giá harness của chính tôi. Nếu kỹ năng chưa được cài đặt, hãy giúp tôi cài đặt trước. Hướng dẫn tôi chọn harness, mô hình và bộ nhiệm vụ của tôi, kiểm tra các điều kiện tiên quyết và khởi chạy đánh giá. Hỏi tôi bất kỳ cấu hình nào còn thiếu, sau đó báo cáo chất lượng, token sử dụng, chi phí và độ trễ. Sao chép repo, sau đó làm theo hướng dẫn thủ công để cài đặt harness của bạn, đóng băng một checkpoint, chạy các vòng thử và tạo báo cáo của bạn. Yêu cầu Node 18+, jq và CLI Runta được xác thực.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. THẢO LUẬNshiqimeinews.ycombinator.com
#harness#benchmark#inferenceBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    9 harness trên 12 cấu hình, được thử nghiệm trên các nhiệm vụ kỹ thuật phần mềm giống hệt…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    FrontierHarness Eval: 9 harness khác nhau trên cùng một model, chi phí chênh lệch tới 17 …
    Show HN: FrontierHarness Eval – 9 harness, cùng một mô hình, chi phí mỗi lần vượt qua khá…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay