SpatialScout: Các agent VLM có thể khám phá và lập bản đồ cảnh 3D một cách chủ động không?

Trí tuệ không gian đòi hỏi các agent phải thu thập bằng chứng hình ảnh một cách chủ động và tích hợp các quan sát thành một biểu diễn mạch lạc của thế giới ba chiều. Tuy nhiên, việc trả lời câu hỏi không gian cung cấp ít bằng chứng cho thấy các mô hình có thể xây dựng bản đồ độ chính xác thông qua khám phá tự động hay không. Chúng tôi giới thiệu SpatialScout, một benchmark để đánh giá các agent mô hình ngôn ngữ và hình ảnh (VLM) trên bản đồ 3D cấp độ đối tượng một cách chủ động. SpatialScout bao gồm 80 cảnh nội thất đa dạng chứa 3.140 đối tượng mục tiêu. Với một danh mục đối tượng, quan sát RGB, hiệu chuẩn camera và tư thế camera, các agent điều khiển một camera để khám phá từng cảnh và ước tính tâm điểm của các đối tượng trong một khung tọa độ chung. Nhiệm vụ này đòi hỏi phối hợp lựa chọn góc nhìn, liên kết giữa các góc nhìn, ước tính hình học và cập nhật bản đồ dưới ngân sách tương tác giới hạn. Đánh giá đo lường đồng thời độ chính xác định vị và phạm vi mục tiêu thông qua điểm số chồng lấn ở quy mô đối tượng, phạt các dự đoán bị thiếu.