Duo một world model Reciprocal cho tương tác full-duplex

Trong báo cáo này, nhóm tác giả giới thiệu Reciprocal World Model RWM và trình bày Duo v1, một world model full-duplex liên tục nhận các đầu vào âm thanh-hình ảnh đồng thời phản hồi người dùng theo thời gian thực. RWM xem trí tuệ và thực tại vật lý là những yếu tố cơ bản ngang nhau tạo nên một thế giới. Các world model hiện có chủ yếu tập trung mô phỏng thực tại vật lý, để lại suy luận và ra quyết định là các điều khiển bên ngoài thay vì là phần nội tại của thế giới. Trong RWM, nhóm tác giả xác định hai khả năng cơ bản ngang nhau: Intent, cung cấp nhận thức nền tảng cho các tương tác thế giới, và Realization, tạo ra hành vi âm thanh-hình ảnh mạch lạc. Để hiện thực hóa công thức này, Duo v1 giới thiệu ba thiết kế kỹ thuật chính: (1) Tận dụng mô hình autoregressive cho suy luận tương tác liên tục và các quyết định tham gia, thay vì giới hạn nó trong việc hiểu hướng dẫn cho các diffusion model. (2) Xây dựng các điều kiện cụ thể theo chunk và đồng bộ token trên Intent và Realization trên một timeline thống nhất. Các mặt nạ attention cụ thể theo module thực thi các phụ thuộc nhân quả cả trong và giữa các chunk, ngăn chặn việc truy cập các đầu vào trong tương lai.