Học cách nghĩ và khám phá trong không gian 3D

Chúng tôi nghiên cứu cách các mô hình ngôn ngữ-thị giác (VLMs) có thể học cách nghĩ và khám phá tích cực trong không gian 3D. Thay vì cung cấp nhiều hình ảnh góc độ, video hoặc biểu diễn 3D cho mô hình, chúng tôi giữ nguyên mã hóa hình ảnh gốc của VLMs, tức là một hình ảnh duy nhất, một lúc một, giống như con người, và coi biểu diễn 3D chỉ là môi trường mà mô hình có thể tương tác thông qua hành động (ví dụ: di chuyển sang trái) và quan sát (hình ảnh được kết xuất). Mỗi rollout bắt đầu từ một góc nhìn góc thứ nhất ban đầu và một câu hỏi thị giác. Mô hình sau đó lặp đi lặp lại quá trình suy luận, điều hướng và điều chỉnh góc nhìn trước khi đưa ra câu trả lời cuối cùng. Sau một vòng fine-tune ban đầu dựa trên quỹ siêu dữ liệu, chúng tôi áp dụng reinforcement learning (RL) với phần thưởng chủ yếu dựa trên độ chính xác của câu trả lời cuối cùng. Điều cốt lõi là RL không cung cấp bất kỳ sự giám sát trự tiếp nào về những góc nhìn mà mô hình nên truy cập hay những hành động khám phá nào cần thực hiện. Thay vào đó, mô hình phải học một chính sách khám phá hiệu quả chỉ từ mức độ mà các tương tác của nó verbessern hiệu suất.