ProgramGym: Xây dựng môi trường huấn luyện quy mô lớn cho các agent sao chép chương trình dài hạn

Các agent viết mã ngày càng được dùng để xây dựng chương trình từ đầu như kỹ sư phần mềm thực hiện, thay vì để giải quyết vấn đề trong một kho mã nguồn hoặc tạo ra kho mã nguồn từ tài liệu yêu cầu đã cho. Tuy nhiên, các môi trường huấn luyện có thể xác minh và mở rộng quy mô lớn, buộc các agent phải khám phá những gì cần thiết và quyết định cách hệ thống nên được thiết kế, vẫn còn thiếu hụt. Hơn nữa, các quy trình làm việc của agent hiện tại cũng không thể duy trì phát triển dài hạn, trong đó agent khám phá chương trình tham chiếu trước khi triển khai. Để giải quyết những thách thức này, chúng tôi giới thiệu ProgramGym, một khung làm việc bao gồm Program-Env và Program-Agent cho các môi trường huấn luyện quy mô lớn của các agent sao chép chương trình dài hạn. Cụ thể, Program-Env xây dựng các môi trường huấn luyện có thể xác minh từ các kho mã nguồn thông qua vòng lặp được điều khiển bởi phản hồi, sửa chữa các bản dựng sandbox thời gian chạy và chất lượng bài kiểm tra hộp đen. Bằng cúng một đường ống làm việc mới lạ, chúng tôi thu thập được 1.648 môi trường huấn luyện phủ sóng ngôn ngữ C, C++, Go và Rust. Program-Agent kết hợp quy trình làm việc cách ly vai trò của phân tích, triển khai và đánh giá với quản lý bản sửa đổi cho các kiểm tra biên dịch và phục hồi lỗi.