R^2Orch cải tiến tự tham chiếu cho agent Orchestration qua Self-Play trong vòng lặp Skill-Internalization

Trong những năm gần đây, agentic orchestration đã được áp dụng rộng rãi để giải quyết các nhiệm vụ phức tạp của con người. Tuy nhiên, việc học orchestration hiện tại vẫn đối mặt với các thách thức chính như giáo trình thiết kế thủ công, sự sụp đổ lợi thế khi tất cả rollout của một nhiệm vụ đạt cùng một kết quả, và tín hiệu đánh giá không đáng tin cậy chỉ dựa trên một điểm nhiễu cho mỗi skill. Để giải quyết các thách thức này, chúng tôi đề xuất R^2Orch, một mô hình mới về Recursive Self-Play Orchestration: một vòng lặp bên trong của self-play cải thiện orchestrator trên các nhiệm vụ tự chọn, và một vòng lặp bên ngoài cải thiện cách vòng lặp bên trong cải thiện. Để hỗ trợ mô hình này, chúng tôi giới thiệu Recursive Learnability, một mục tiêu huấn luyện thưởng cho Proposer khi chọn các nhiệm vụ mà rollout vẫn đạt các kết quả khác nhau khi các skill bị rút đi. Dựa trên mục tiêu này, chúng tôi đề xuất Skill Withdrawal, trong đó vòng lặp bên ngoài rút mỗi skill khi đánh giá có kiểm soát trong self-play cho thấy orchestrator hoạt động tốt mà không cần nó. Các thuật ngữ được giữ lại: Orch, Recursive, Learnability, Proposer, Skill, Withdrawal, Orchestration, Self-Play, agent, agentic, rollout.