Research22.08.2026 · 10:002 nguồn

nac sửa lỗi benchmark multiPL-E trong 2 giờ, rút ngắn thời gian kiểm toán từ vài ngày

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Lập trình viên @code_star đã sử dụng 47 phiên nac đồng thời thông qua Codex và máy chủ MCP để kiểm toán và sửa lỗi trên các benchmark multiPL-E, MBPP và HumanEval. Quá trình này đã xác định và giải quyết các lỗi trong prompt, trường hợp kiểm tra và định dạng, cũng như một số lỗi nguyên nhân từ phía trên của bộ dữ liệu MBPP.

Cuộc kiểm toán được hoàn thành trong hai giờ với chi phí vài trăm đô la. Các phiên bản đã được sửa của các đánh giá sẽ được phát hành dưới dạng mã nguồn mở cùng với một bài đăng blog chi tiết cách công cụ này tăng tốc kết quả từ vài ngày lên vài giờ.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@code_star“correct multiple deep issues not only with the prompts but also with test cases, bad formatting, and even a handful of issues upstream in MBPP!”x.com
#benchmark#coding#mcpBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Nhà phát triển @code_star đã dùng 47 phiên nac chạy song song thông qua Codex và một MCP …
    Lập trình viên @code_star đã sử dụng 47 phiên nac đồng thời thông qua Codex và máy chủ MC…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    nac xử lý xong benchmark multiPL-E trong 2 giờ, rút ngắn thời gian kiểm định từ nhiều ngà…
    nac sửa lỗi benchmark multiPL-E trong 2 giờ, rút ngắn thời gian kiểm toán từ vài ngày

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay