Solv3R: transformer lặp 3D làm bộ giải bài toán đa góc nhìn

Quá trình tái tạo cấu trúc từ chuyển động cổ điển tiến hành theo kiểu lặp, tinh chỉnh tư thế camera và hình học cảnh quan từ ước lượng hiện tại. Điều này cho phép bản đồ dễ dàng mở rộng mà không cần tính toán lại các góc nhìn đã được tính, hoặc dự báo hình học cải thiện khi cung cấp thêm quan sát. Tuy nhiên, hầu hết các foundation model hình học đều dự báo toàn bộ hình học trong một lần lan truyền duy nhất hoặc cập nhật trạng thái lặp lại khi các khung hình đến tuần tự, khiến sự mở rộng và tinh chỉnh trở nên phức tạp. Chúng tôi giới thiệu Solv3R, một transformer lặp học cách tiếp tục giải quyết hình học đa góc nhìn từ trạng thái hiện tại của nó. Đặc biệt, toán tử cập nhật của nó độc lập với số lần lặp, cho phép cập nhật đồng thời các góc nhìn đã được tinh chỉnh và các góc nhìn mới được thêm vào bất kể mức độ "đã giải" của chúng. Chúng tôi huấn luyện toán tử này để duy trì các bản tái tạo chính xác dưới sự lặp tiếp diễn và sửa chữa các trạng thái không chính xác, cho phép tinh chỉnh các bộ sưu tập ảnh cố định và tích hợp các quan sát mới. Các biểu diễn của các góc nhìn đã được giải cũng có thể được lưu đệm một lần và tái sử dụng như bối cảnh hình học xuyên qua các vòng lặp, cho phép lưu đệm khóa-giá trị nhỏ gọn và hiệu quả.