Perceptron ra mắt bộ dữ liệu EgoHome cho bảng chuẩn thị giác máy tính robot tinh vi

Một kho lưu trữ video đã được xác minh, ghi lại các hoạt động gia đình hàng ngày, hiện đã khả dụng cho các nhà nghiên cứu thử nghiệm cách mà robot nhận biết hành động con người từ góc nhìn góc nhất phần. Perceptron đã công bố nguồn mở benchmark EgoHome, bao gồm 2 giờ video được ghi chú bởi con người, để hỗ trợ cộng đồng đánh giá khả năng hiểu biết egocentric tinh vi, với hơn 750 đoạn video, mỗi đoạn ngắn hơn 500ms.

Bộ dữ liệu cung cấp bốn loại ghi chú cụ thể cho mỗi đoạn video, bao gồm vị trí tay, mô tả hình ảnh, hành động và nhiệm vụ phụ. Để chuẩn hóa cách đo lường các nhiệm vụ phụ này, Perceptron đã phát hành một số đo mới gọi là permissible subsegment Jaccard và đã công bố bộ dữ liệu, prompt đánh giá và các số liệu đo trên HuggingFace.