WorkFactory: Biến nhu cầu nghề nghiệp thành công việc thực thi để huấn luyện agent quy mô lớn

Để huấn luyện các agent làm việc quy mô lớn, cần có các nhiệm vụ nghề nghiệp đa dạng tạo ra những bản demo chuyên gia đáng tin cậy. Tuy nhiên, thông tin nhiệm vụ thiếu hoặc không nhất quán có thể cản trở việc thực thi của giáo viên và làm suy giảm sự giám sát kết quả. Nhóm đề xuất WorkFactory, một khung làm việc quy mô lớn để xây dựng các nhiệm vụ nghề nghiệp mạch lạc và có thể thực thi. Bắt đầu từ những ý định nghề nghiệp, lập kế hoạch ở mức độ thông tin xây dựng đồ thị hỗ trợ thông tin để hướng dẫn việc khởi tạo nhiệm vụ, thể hiện rõ ràng các phụ thuộc và vị trí của thông tin cần thiết cho các đầu ra mong muốn. Các lần thực thi thử sẽ phát hiện những lỗi hỗ trợ và hướng dẫn sửa chữa trong khi vẫn giữ nguyên công việc ban đầu. Nhóm xây dựng 112.686 nhiệm vụ trải rộng qua 612 nghề nghiệp và sử dụng những quỹ đạo giáo viên thu thập được để fine-tune các mô hình Qwen ở quy mô 4B, 27B và 35B-A3B, tạo ra dòng WorkPilot. Cả ba mô hình đều cải thiện hơn so với các mô hình cơ sở tương ứng trên bốn benchmark công việc chuyên nghiệp, với WorkPilot-35B-A3B cải thiện từ 879 lên 1565 Elo trên GDPval-AA v2.1. Các phân tích quy mô lớn cho thấy hiệu quả giảm dần tùy thuộc vào mô hình, với độ dài thực thi tăng trưởng trước và sau đó giảm đi.