Research03.09.2026 · 00:021 nguồn

ByteDance Seed phát triển HarnessDev đạt chuẩn con người trong AI benchmark

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Khung công tác đề xuất đánh giá mô hình AI bằng chất lượng các harness mà chúng xây dựng thay vì các nhiệm vụ cá nhân. Nhà nghiên cứu ByteDance Seed phát triển HarnessDev bằng cách bắt đầu từ một seed yếu và một tập hợp nhỏ trường hợp để xây dựng một hệ thống thực thi đầy đủ, sau đó được tinh chỉnh thông qua phản hồi từ downstream. Cả bản dựng ban đầu và sự tinh chỉnh đều được đo lường bằng khả năng và chi phí token thực thi để đảm bảo hiệu quả và nhận thức về chi phí.

Kiểm tra bằng sáu LLMs creator và 2.207 trường hợp được giữ lại trên bốn lĩnh vực cho thấy các harness tự động tiến bộ chậm lại so với các tài liệu tham khảo do con người thiết kế trong lĩnh vực coding, search và research. Tuy nhiên, hệ thống đã đạt hoặc vượt qua hiệu suất con người trong viết lách và thí nghiệm machine learning. Nghiên cứu lưu ý rằng những lợi thế này không ổn định và phụ thuộc rất nhiều vào mô hình cụ thể đang chạy harness.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@omarsar0“The experiments include six creator LLMs, four domains, 2,207 held-out downstream instances”x.com
#benchmark#harness#llmBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Thay vì đánh giá dựa trên từng tác vụ riêng lẻ, framework mới này đo lường chất lượng mô …
    Khung công tác đề xuất đánh giá mô hình AI bằng chất lượng các harness mà chúng xây dựng …
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    ByteDance Seed HarnessDev đạt chuẩn con người trong các benchmark về viết lách và ML
    ByteDance Seed phát triển HarnessDev đạt chuẩn con người trong AI benchmark

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay