RoboColosseum: Đánh giá trí tuệ vật lý quy mô lớn trong môi trường thực

Các chính sách robot đa năng phải hoạt động trên nhiều robot, nhiều nhiệm vụ và môi trường, nhưng sự đa dạng khiến các thử nghiệm thực tế trở nên khó tái lặp. Chúng tôi giới thiệu RoboColosseum, một khung đánh giá phân tán kết hợp việc phục vụ chính sách thống nhất và giao thức chuẩn hóa trên mạng lưới robot vận hành địa phương trong các môi trường đa dạng. Nghiên cứu ban đầu đánh giá năm chính sách VLA và ba AI agent tiến tới trên bốn cơ thể (SO-101, Franka, Bimanual-YAM và G1 Humanoid). Open Track so sánh các mô hình mà không có điều chỉnh nhiệm vụ cụ thể trong các vòng thi ngẫu nhiên dưới điều kiện địa phương phù hợp. Fine-tune Track đo lường mức độ các chính sách VLA thích ứng với 20 nhiệm vụ trên bốn cơ thể khi mỗi chính sách nhận cùng 100 bản demo cho mỗi nhiệm vụ. Trong tổng số 5.699 so sánh Open Track tại 124 địa điểm, các agent tiến tới cạnh tranh với các chính sách VLA chuyên biệt, trong khi tất cả các hệ thống đều gặp khó khăn trong việc hoàn thành các nhiệm vụ thế giới mở một cách ổn định. Sau khi fine-tune, GR00T N1.7 dẫn trên SO-101 và pi0.5 dẫn trên Franka và Bimanual-YAM. Xếp hạng chính sách cho thấy mức độ đồng thuận yếu giữa các bộ nhiệm vụ theo cơ thể (Kendall W = 0,24).