HexaShell: một harness mỏng để khám phá giới hạn của VLM agent dưới dạng robot coding agent

Các agent dựa trên vision language models (VLM) hiện cạnh tranh với các policy học được trên bảng xếp hạng robot manipulation. Chúng tôi hỏi một coding agent có thể đi bao xa khi điều khiển một robot thay vì một chiếc máy tính, và nó dừng lại ở đâu. Hệ thống của chúng tôi, HexaShell, giữ cho harness mỏng: nó chỉ chuyển đổi lệnh của agent thành chuyển động robot. Agent điều khiển một robot hai cánh tay bằng một dòng lệnh. Nó nhìn thấy ba camera RGB và biết lịch cảm biến của chúng. Sau mỗi lần thử thất bại, agent đọc log, tìm nguyên nhân và viết hoặc sửa các chương trình nhỏ gọi là tools. Nhờ cách này, nó giữ lấy kiến thức học được dưới dạng code, như một coding agent khi sửa một test đang thất bại. Các tools chỉ được sử dụng những gì mà robot quan sát được. Chúng sử dụng triangulation để tìm vị trí của các vật thể, tương đối với nhau và với gripper. Nếu hai camera nhìn thấy cùng một điểm, điểm đó nằm ở nơi hai tia ray của camera gặp nhau. Nếu một điểm nằm trên một mặt phẳng đã biết, như bàn hoặc đỉnh của một khối, nó nằm ở nơi tia ray của nó gặp mặt phẳng đó. Khi camera đầu không đủ, robot di chuyển một camera cổ tay để lấy một góc nhìn thứ hai.