음성 분리 기술의 발전: 기법, 과제, 그리고 미래 동향

초록

"칵테일 파티 문제"를 다루는 음성 분리 분야는 DNN(심층 신경망)을 통해 혁신적인 발전을 이루어 왔습니다. 음성 분리는 복잡한 음향 환경에서의 명료성을 향상시키며, 음성 인식 및 화자 인식을 위한 중요한 전처리 과정으로 작용합니다. 그러나 현재의 연구는 특정 아키텍처나 고립된 접근법에만 초점을 맞추어 파편화된 이해를 초래하고 있습니다. 본 조사는 이러한 격차를 해소하기 위해 DNN 기반 음성 분리 기술을 체계적으로 검토합니다. 우리의 작업은 다음과 같은 점에서 차별화됩니다: (I) 포괄적 관점: 학습 패러다임, 알려진/알려지지 않은 화자를 포함한 분리 시나리오, 지도/자기 지도/비지도 프레임워크의 비교 분석, 그리고 인코더부터 추정 전략까지의 아키텍처 구성 요소를 체계적으로 조사합니다. (II) 시의성: 최첨단 개발 동향을 다루어 최신 혁신과 벤치마크에 대한 접근성을 보장합니다. (III) 독창적 통찰: 요약을 넘어 기술적 궤적을 평가하고, 신흥 패턴을 식별하며, 도메인-강건 프레임워크, 효율적인 아키텍처, 다중모달 통합, 새로운 자기 지도 패러다임과 같은 유망한 방향을 강조합니다. (IV) 공정한 평가: 표준 데이터셋에 대한 정량적 평가를 제공하여 다양한 방법의 실제 능력과 한계를 드러냅니다. 이 포괄적인 조사는 음성 분리의 복잡한 지형을 탐색하는 경험 많은 연구자와 초보자 모두에게 접근 가능한 참고 자료로 활용될 것입니다.

English

The field of speech separation, addressing the "cocktail party problem", has seen revolutionary advances with DNNs. Speech separation enhances clarity in complex acoustic environments and serves as crucial pre-processing for speech recognition and speaker recognition. However, current literature focuses narrowly on specific architectures or isolated approaches, creating fragmented understanding. This survey addresses this gap by providing systematic examination of DNN-based speech separation techniques. Our work differentiates itself through: (I) Comprehensive perspective: We systematically investigate learning paradigms, separation scenarios with known/unknown speakers, comparative analysis of supervised/self-supervised/unsupervised frameworks, and architectural components from encoders to estimation strategies. (II) Timeliness: Coverage of cutting-edge developments ensures access to current innovations and benchmarks. (III) Unique insights: Beyond summarization, we evaluate technological trajectories, identify emerging patterns, and highlight promising directions including domain-robust frameworks, efficient architectures, multimodal integration, and novel self-supervised paradigms. (IV) Fair evaluation: We provide quantitative evaluations on standard datasets, revealing true capabilities and limitations of different methods. This comprehensive survey serves as an accessible reference for experienced researchers and newcomers navigating speech separation's complex landscape.

음성 분리 기술의 발전: 기법, 과제, 그리고 미래 동향

Advances in Speech Separation: Techniques, Challenges, and Future Trends

초록

Support