EarthRecord: Từ Pixel đến Thay đổi Sử dụng Đất với Các Agent Đa phương thức trong Bốn Thập kỷ Ảnh vệ tinh

Mặc dù các agent đa phương thức hiện thực hiện phân tích dữ liệu phức tạp với công cụ, khả năng biến đổi bốn thập kỷ ảnh vệ tinh thành phân tích thay đổi sử dụng đất tin cậy, quan trọng cho khoa học quan sát Trái Đất, vẫn chưa được đo lường. Các benchmark hiện có chưa đáp ứng: chúng đặt câu hỏi trên hình ảnh được lựa chọn hoặc cung cấp agent các đầu vào đã được xử lý, bỏ qua các kho lưu trữ cảm biến thô nơi mọi phân tích bắt đầu. Chúng tôi giới thiệu EarthRecord, một benchmark dựa trên bản ghi thô của 56 địa điểm: bốn thập kỷ dữ liệu Landsat, MODIS, VIIRS và Sentinel-2, với việc che kín mây và hòa hợp giữa các cảm biến được để lại cho agent. Nó đưa ra 238 câu hỏi thay đổi sử dụng đất trên mười nhiệm vụ phân tích, được chấm điểm dựa trên các tham chiếu được giữ lại từ các sản phẩm toàn cầu, sự đồng thuận giữa các phương pháp, và giải thích trực quan. Hai bộ điều khiển kiểm tra những gì câu trả lời dựa trên: cuốn sách đóng lại loại bỏ bản ghi, và cặp thiết bị thay đổi dữ liệu của một vệ tinh trong khi mọi thứ trên mặt đất vẫn không thay đổi. Đánh giá của mười hai agent đa phương thức cho thấy các agent hàng đầu hoàn thành hầu hết phân tích từ đầu đến cuối nhưng gặp khó khăn khi câu trả lời yêu cầu ánh xạ từ hình ảnh.