Khi việc viết phần mềm dần chuyển giao cho chính phần mềm, các coding agent ngày càng được giao nhiệm vụ xây dựng agent phù hợp với quy trình làm việc riêng của người dùng. Việc ủy thác này đi kèm với một giả định ngầm rằng agent được bàn giao sẽ phục vụ trung thành yêu cầu thay vì chỉ làm cho có. Chưa có benchmark nào kiểm tra giả định đó. Nhóm nghiên cứu giới thiệu AgentSWE, một benchmark chuyên về kỹ thuật phần mềm dành cho agent, bao trùm ba giai đoạn trong vòng đời phát triển agent: tạo mới hoàn toàn agent từ yêu cầu bằng ngôn ngữ tự nhiên, chỉnh sửa mã nguồn của production agent, và tối ưu hóa hướng tới mục tiêu đo lường được. Mỗi tác vụ trong tổng số 25 tác vụ được định hình như một đơn đặt hàng thay vì một bài kiểm tra: bên xây dựng lặp đi lặp lại quá trình dựa trên một số trường hợp minh họa, trong khi khâu nghiệm thu sẽ chạy bản nộp đã đóng băng trên các trường hợp giữ lại được thiết kế để bao quát toàn bộ yêu cầu, chấm điểm hành vi dựa trên các tiêu chí xuất phát từ yêu cầu theo các cổng đỗ/trượt nghiêm ngặt hoặc, đối với phần tối ưu hóa, dựa trên chính mục tiêu của benchmark nguồn.
Nguồn chính
- SOURCEhuggingface.co