Fortschritte in der Sprachseparation: Techniken, Herausforderungen und zukünftige Trends

Advances in Speech Separation: Techniques, Challenges, and Future Trends

August 14, 2025

papers.authors: Kai Li, Guo Chen, Wendi Sang, Yi Luo, Zhuo Chen, Shuai Wang, Shulin He, Zhong-Qiu Wang, Andong Li, Zhiyong Wu, Xiaolin Hu

cs.AI

papers.abstract

Das Feld der Sprachseparation, das sich mit dem „Cocktail-Party-Problem“ befasst, hat durch den Einsatz von Deep Neural Networks (DNNs) revolutionäre Fortschritte erlebt. Die Sprachseparation verbessert die Klarheit in komplexen akustischen Umgebungen und dient als entscheidende Vorverarbeitung für die Spracherkennung und Sprechererkennung. Die aktuelle Literatur konzentriert sich jedoch eng auf spezifische Architekturen oder isolierte Ansätze, was zu einem fragmentierten Verständnis führt. Diese Übersichtsarbeit schließt diese Lücke, indem sie eine systematische Untersuchung von DNN-basierten Sprachseparationsverfahren bietet. Unsere Arbeit unterscheidet sich durch: (I) Umfassende Perspektive: Wir untersuchen systematisch Lernparadigmen, Separationsszenarien mit bekannten/unbekannten Sprechern, vergleichende Analysen von überwachten/selbstüberwachten/unüberwachten Frameworks sowie architektonische Komponenten von Encodern bis hin zu Schätzstrategien. (II) Aktualität: Die Abdeckung neuester Entwicklungen gewährleistet den Zugang zu aktuellen Innovationen und Benchmarks. (III) Einzigartige Einblicke: Über eine Zusammenfassung hinaus bewerten wir technologische Entwicklungslinien, identifizieren aufkommende Muster und heben vielversprechende Richtungen hervor, darunter domain-robuste Frameworks, effiziente Architekturen, multimodale Integration und neuartige selbstüberwachte Paradigmen. (IV) Faire Bewertung: Wir bieten quantitative Auswertungen auf Standarddatensätzen, die die tatsächlichen Fähigkeiten und Grenzen verschiedener Methoden aufzeigen. Diese umfassende Übersichtsarbeit dient als zugängliche Referenz für erfahrene Forscher und Neueinsteiger, die sich in der komplexen Landschaft der Sprachseparation zurechtfinden möchten.

English

The field of speech separation, addressing the "cocktail party problem", has seen revolutionary advances with DNNs. Speech separation enhances clarity in complex acoustic environments and serves as crucial pre-processing for speech recognition and speaker recognition. However, current literature focuses narrowly on specific architectures or isolated approaches, creating fragmented understanding. This survey addresses this gap by providing systematic examination of DNN-based speech separation techniques. Our work differentiates itself through: (I) Comprehensive perspective: We systematically investigate learning paradigms, separation scenarios with known/unknown speakers, comparative analysis of supervised/self-supervised/unsupervised frameworks, and architectural components from encoders to estimation strategies. (II) Timeliness: Coverage of cutting-edge developments ensures access to current innovations and benchmarks. (III) Unique insights: Beyond summarization, we evaluate technological trajectories, identify emerging patterns, and highlight promising directions including domain-robust frameworks, efficient architectures, multimodal integration, and novel self-supervised paradigms. (IV) Fair evaluation: We provide quantitative evaluations on standard datasets, revealing true capabilities and limitations of different methods. This comprehensive survey serves as an accessible reference for experienced researchers and newcomers navigating speech separation's complex landscape.