Hệ thống điều hướng thị giác-ngôn ngữ đa tác nhân có hệ thống: Công thức, benchmark và phương pháp

Vision-and-Language Navigation phần lớn tập trung vào một agent duy nhất làm theo một chỉ dẫn đơn lẻ, dù nhiều ứng dụng thực tế đòi hỏi các đội robot giải quyết những nhiệm vụ vượt quá khả năng của bất kỳ cá nhân agent nào. Công trình này giới thiệu hệ thống điều hướng thị giác-ngôn ngữ đa tác nhân có hệ thống, mang đến bản chính thức hóa có hệ thống đầu tiên về VLN đa tác nhân dưới dạng bài toán phối hợp có ràng buộc: mỗi nhiệm vụ gồm các tiểu nhiệm vụ mang ràng buộc về phụ thuộc và tài nguyên. Một quy trình chế tạo bốn giai đoạn đã được xác minh hiện thực hóa nhiệm vụ thành MAVLN, bao gồm 11.724 lượt trong 145 cảnh với các đội gồm tối đa bốn agent dưới ba chế độ chỉ dẫn, đi kèm các metric nhận biết ràng buộc được thiết kế riêng. Nghiên cứu cũng giới thiệu TRISS, một hệ thống điều hướng sẵn sàng phối hợp kết hợp bộ lập lịch tiểu nhiệm vụ dựa trên LLM, một bộ nhớ topological chung biến quá trình khám phá của mỗi agent thành kiến thức của đội, cùng cơ chế thực thi nhận biết xung đột nhằm hiện thực hóa các ý định đồng thời thành những tuyến đường không va chạm.