StreamVibe: Proactive Video Agents for Evolving User Intent

Các mô hình thị giác-ngôn ngữ đang chuyển từ hiểu biết ngoại tuyến thụ động hướng tới tương tác trực tuyến chủ động. Tuy nhiên, các phương pháp hiện tại vẫn chủ yếu dựa vào yêu cầu rõ ràng trong khi bỏ qua ý định người dùng ngầm (ví dụ: "tôi nên nhấn vào đâu tiếp theo?" trong khi người dùng đang duyệt trang web), đồng thời không cập nhật trạng thái đồng thời khi yêu cầu người dùng có thể thay đổi liên tục. Những hạn chế này khiến chúng ít phù hợp với tương tác nhận thức ý định trong thực tiễn. Để giải quyết những thách thức này, chúng tôi giới thiệu StreamVibe-Bench, một benchmark mới phục vụ như môi trường thử nghiệm cho tương tác ý định người dùng, với 4.1K mẫu đánh giá và 85K mẫu huấn luyện bao phủ ý định rõ ràng, ngầm và động. Dựa trên benchmark này, chúng tôi phát triển StreamVibe-VL, một mô hình phát trực tuyến chủ động suy luận ý định người dùng ngầm từ các quan sát liên tục và điều chỉnh tương tác một cách động dựa trên sự tiến triển của những ý định này. Ngoài ra, chúng tôi còn giới thiệu StreamVibe-Harness, duy trì ý định người dùng như các trạng thái bền vững với vòng đời linh hoạt thông qua bộ nhớ phân cấp để theo dõi ý định người dùng mới nhất và trạng thái môi trường.