Hermes Agent dẫn đầu bảng xếp hạng độ tin cậy trên Harness Leaderboard cập nhật

Nhà nghiên cứu Joel Niklaus đã thêm một chỉ số về tính nhất quán vào Harness Leaderboard để theo dõi tần suất các wrapper coding-agent giải quyết cùng một tác vụ trong ba lần thử liên tiếp. Dữ liệu cập nhật cho thấy độ tin cậy đối với các công việc AI không cần giám sát vẫn ở mức thấp, khi mini-swe-agent đứng đầu chỉ giải quyết được 33% tác vụ trong mọi lần thử trên ba mô hình open-weights, trong khi openclaw harness chỉ đạt 15,3%.

Nghiên cứu này đã phân tích 28.849 lần thử nghiệm sử dụng các mô hình như GLM-5.3-Flash và Flint, xác định Hermes Agent là agent đáng tin cậy nhất về tổng thể cho các tác vụ yêu cầu phải thành công trong mọi lần thử. Riêng trên mô hình DeepSeek-V4.1-Flash, Hermes Agent đạt tỷ lệ giải quyết là 71,3%. Trong khi các harness khác có sự khác biệt về chi phí và hiệu quả, chẳng hạn như Pi tốn 0,29 USD cho mỗi tác vụ được giải quyết so với 3,35 USD của OpenCode, chỉ số mới này nhấn mạnh khoảng cách giữa hiệu suất đỉnh cao của một công cụ và khả năng hoạt động ổn định của nó.