Reprobridge building reproducibility into ML research artifacts

Việc tái tạo các thí nghiệm ML đòi hỏi phải dựng lại quy trình từ thông tin rải rác trong các bài báo, mã nguồn đã phát hành và các artifact hỗ trợ. Do đó, đối với các coding agent, thành công tái tạo có thể phụ thuộc vào khả năng điền vào các chi tiết còn thiếu của chúng, chứ không chỉ dựa vào các artifact đã phát hành. Nhóm tác giả đặt câu hỏi liệu việc bảo toàn các quy trình và quyết định đã được phục hồi có cải thiện khả năng tái tạo độc lập sau này hay không. Họ định nghĩa một thiết kế artifact tiêu chuẩn bao gồm codebase được tinh chỉnh, thiết lập môi trường, trình khởi chạy thí nghiệm và hướng dẫn tái tạo, đồng thời giới thiệu ReproBridge, một agent workflow để xây dựng các artifact có thể tái tạo được tinh chỉnh này. ReproBridge-Bench cung cấp 1.029 tasks từ 387 experiments trên 36 papers, được neo bằng năm điểm tham chiếu do con người xác minh cho mỗi task. Các agent thực hiện các task trong các phiên mới với raw code hoặc refined artifacts; một Auditor riêng biệt kiểm tra bằng chứng thực thi. Trên bốn model được đánh giá, artifact tinh chỉnh nâng thành công tái tạo trung bình từ 76,4% lên 92,6% và giảm chi phí API hạ nguồn trung bình 19,7%.