RoTA-Bench: Đánh giá lý luận không gian 3D qua căn chỉnh chiếu tương tác

Các mô hình thị giác ngôn ngữ có thể biến quan sát 2D thành hiểu biết 3D hỗ trợ hành động chính xác không? Điều này đòi hỏi suy luận hình học vật thể, dự đoán tác động của quay xoay và tinh chỉnh hành động thông qua phản hồi thị giác. Chúng tôi giới thiệu RoTA-Bench để đánh giá những khả năng này thông qua căn chỉnh chiếu 3D-to-2D tương tác. Khi nhận được một bóng đổ mục tiêu, mô hình quan sát một vật thể đã được xoay và chọn các phép quay liên tiếp để khôi phục phép chiếu mục tiêu trong ngân sách hành động giới hạn. Đường ống tự động của chúng tôi xây dựng các vật thể 3D giữ nguyên bóng đổ từ biểu tượng 2D và sử dụng khởi tạo đảo ngược để bảo đảm tính khả thi, tạo ra 674 nhiệm vụ và một bộ dữ liệu kiểm tra 100 nhiệm vụ được phân tầng.