Phương pháp trích xuất người nói mục tiêu âm thanh hình ảnh theo thời gian thực cho môi trường âm thanh thực tế

Trích xuất người nói mục tiêu âm thanh hình ảnh theo thời gian thực (AVTSE) là cần thiết cho các ứng dụng nhạy cảm về độ trễ. Tuy nhiên, các hệ thống causal hiện tại phải đối mặt với hai khoảng trống liên quan. Thứ nhất, các benchmark tiêu chuẩn cố định số lượng người nói ở mức hai và bỏ qua sự can thiệp gần/nhiễu xa, phản xạ và tiếng ồn bất ngờ của các cảnh quan thực tế. Thứ hai, các kiến trúc causal hiệu suất cao quá nặng để triển khai trên biên. Các giải pháp nhẹ cân cố gắng lấy lại dung lượng bằng cách gọi lại một bộ phận phân tách nhỏ nhiều lần, điều này làm mất đi lợi ích. Để giải quyết khoảng trống thứ nhất, chúng tôi ra mắt RealSSA, một benchmark AVTSE thực tế bao gồm RealSSA-Sim và RealSSA-Real. RealSSA-Sim cung cấp các cảnh quan mô phỏng có thể điều khiển với 1--5 người nói gần can thiệp động; các cảnh quan có sự can thiệp xa hơn còn bao gồm 10--15 người nói xa can thiệp. RealSSA-Real cung cấp một tập hợp đánh giá được ghi âm thực tế. Để giải quyết khoảng trống thứ hai, chúng tôi đề xuất Falcon, một phương pháp AVTSE causal. Separator của nó thực hiện phân tách thời gian-tần số đa tầm trong một lượt mã hóa-giải mã. Chúng tôi huấn luyện Falcon với một hàm mất mát đối lập người nói trong không gian mã hóa.