Research03.09.2026 · 00:021 nguồn
ByteDance Seed phát triển HarnessDev đạt chuẩn con người trong AI benchmark
Từ huggingnews.com
Khung công tác đề xuất đánh giá mô hình AI bằng chất lượng các harness mà chúng xây dựng thay vì các nhiệm vụ cá nhân. Nhà nghiên cứu ByteDance Seed phát triển HarnessDev bằng cách bắt đầu từ một seed yếu và một tập hợp nhỏ trường hợp để xây dựng một hệ thống thực thi đầy đủ, sau đó được tinh chỉnh thông qua phản hồi từ downstream. Cả bản dựng ban đầu và sự tinh chỉnh đều được đo lường bằng khả năng và chi phí token thực thi để đảm bảo hiệu quả và nhận thức về chi phí.
Kiểm tra bằng sáu LLMs creator và 2.207 trường hợp được giữ lại trên bốn lĩnh vực cho thấy các harness tự động tiến bộ chậm lại so với các tài liệu tham khảo do con người thiết kế trong lĩnh vực coding, search và research. Tuy nhiên, hệ thống đã đạt hoặc vượt qua hiệu suất con người trong viết lách và thí nghiệm machine learning. Nghiên cứu lưu ý rằng những lợi thế này không ổn định và phụ thuộc rất nhiều vào mô hình cụ thể đang chạy harness.
Nguồn
+ 1 nguồn khác
- SUPPORT@omarsar0“The experiments include six creator LLMs, four domains, 2,207 held-out downstream instances”x.com
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuThay vì đánh giá dựa trên từng tác vụ riêng lẻ, framework mới này đo lường chất lượng mô …Khung công tác đề xuất đánh giá mô hình AI bằng chất lượng các harness mà chúng xây dựng …
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuByteDance Seed HarnessDev đạt chuẩn con người trong các benchmark về viết lách và MLByteDance Seed phát triển HarnessDev đạt chuẩn con người trong AI benchmark
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay