PyRUA-DataFarm llm agent là teleoperator tiết kiệm chi phí cho dữ liệu robot sẵn sàng

Teleoperation vẫn là cách mặc định thu thập demo robot nhưng mỗi tập đều tốn thời gian của robot và người vận hành, và mỗi nhiệm vụ mới phải bắt đầu từ đầu. Chúng tôi đặt câu hỏi liệu một coding agent có thể thay thế công việc của teleoperator không. Trong DataFarm, agent nhận yêu cầu dữ liệu và một tập hiệu chuẩn robot trong cảnh mục tiêu, sau đó tái tạo nhiệm vụ trong simulation: nó viết cảnh, một expert controller và một success judge. Simulator cung cấp hành động chính xác, và một video model được điều kiện hóa trên ảnh thật render mỗi rollout thành video ảnh, tạo ra tất cả các góc nhìn camera một cách nhất quán. Đầu ra là dữ liệu real-ready: các góc nhìn camera đồng bộ được gán nhãn hành động của robot, trên đó có thể huấn luyện policy trực tiếp và triển khai trên robot thật. Các judge độc lập chứng nhận expert và mọi tập render trước khi chấp nhận. Trên năm nhiệm vụ robot thật, policy chỉ được huấn luyện trên farm data đạt kết quả tương đương policy huấn luyện trên nhiều tập teleoperated (93 so với 84 thành công trong 100 lần thử), và dưới điều kiện khăn trải bàn không thấy và ánh sáng màu, chúng duy trì 87 thành công trong khi policy huấn luyện bằng teleoperation chỉ đạt 46.