Достижения в области разделения речи: методы, проблемы и будущие тенденции

Advances in Speech Separation: Techniques, Challenges, and Future Trends

August 14, 2025

Авторы: Kai Li, Guo Chen, Wendi Sang, Yi Luo, Zhuo Chen, Shuai Wang, Shulin He, Zhong-Qiu Wang, Andong Li, Zhiyong Wu, Xiaolin Hu

cs.AI

Аннотация

Область разделения речи, решающая "проблему коктейльной вечеринки", претерпела революционные изменения с появлением глубоких нейронных сетей (DNN). Разделение речи улучшает четкость в сложных акустических условиях и служит важным этапом предварительной обработки для распознавания речи и идентификации говорящих. Однако современная литература сосредоточена на узких аспектах, таких как конкретные архитектуры или изолированные подходы, что создает фрагментированное понимание. Данный обзор восполняет этот пробел, предлагая систематическое исследование методов разделения речи на основе DNN. Наша работа выделяется следующими аспектами: (I) Комплексный подход: Мы систематически исследуем парадигмы обучения, сценарии разделения с известными/неизвестными говорящими, сравнительный анализ контролируемых, самообучаемых и неконтролируемых подходов, а также архитектурные компоненты от кодировщиков до стратегий оценки. (II) Актуальность: Охват последних достижений обеспечивает доступ к текущим инновациям и эталонным тестам. (III) Уникальные инсайты: Помимо обобщения, мы оцениваем технологические траектории, выявляем новые тенденции и выделяем перспективные направления, включая устойчивые к домену архитектуры, эффективные структуры, мультимодальную интеграцию и новые самообучаемые парадигмы. (IV) Объективная оценка: Мы предоставляем количественные оценки на стандартных наборах данных, раскрывая реальные возможности и ограничения различных методов. Этот всесторонний обзор служит доступным справочником как для опытных исследователей, так и для новичков, осваивающих сложный ландшафт разделения речи.

English

The field of speech separation, addressing the "cocktail party problem", has seen revolutionary advances with DNNs. Speech separation enhances clarity in complex acoustic environments and serves as crucial pre-processing for speech recognition and speaker recognition. However, current literature focuses narrowly on specific architectures or isolated approaches, creating fragmented understanding. This survey addresses this gap by providing systematic examination of DNN-based speech separation techniques. Our work differentiates itself through: (I) Comprehensive perspective: We systematically investigate learning paradigms, separation scenarios with known/unknown speakers, comparative analysis of supervised/self-supervised/unsupervised frameworks, and architectural components from encoders to estimation strategies. (II) Timeliness: Coverage of cutting-edge developments ensures access to current innovations and benchmarks. (III) Unique insights: Beyond summarization, we evaluate technological trajectories, identify emerging patterns, and highlight promising directions including domain-robust frameworks, efficient architectures, multimodal integration, and novel self-supervised paradigms. (IV) Fair evaluation: We provide quantitative evaluations on standard datasets, revealing true capabilities and limitations of different methods. This comprehensive survey serves as an accessible reference for experienced researchers and newcomers navigating speech separation's complex landscape.