하나의 모델, 다양한 지연 시간: 다양한 실시간 애플리케이션을 위한 범용 음성 향상

초록

서로 다른 실시간 음성 애플리케이션은 각기 다른 지연 시간 예산을 요구하며, 각 시나리오에 대해 별도로 학습된 향상 모델이 필요한 경우가 많다. 본 논문에서는 알고리즘 지연과 계산 지연을 모두 명시적으로 제어할 수 있는 만능 실시간 범용 음성 향상 모델을 제안한다. 알고리즘 지연은 설정 가능한 미리보기 프레임을 통해 유연하게 조정된다. 다양한 패딩 구성으로 인한 학습 비효율성을 피하기 위해, 서로 다른 미리보기 설정에 대응하는 병렬 합성곱 층을 도입한다. 계산 지연은 조기 종료 메커니즘을 통해 제어되며, 이를 통해 다양한 네트워크 깊이에서 추론이 가능하다. 전문화된 모델과 유연한 모델 간의 성능 격차를 좁히기 위해, 공유-다중 디코더 전환을 포함한 2단계 훈련 전략을 제안한다. 전반적으로, 제안된 프레임워크는 별도의 모델을 재훈련하지 않고도 다양한 지연 시간 예산에서 단일 모델을 배포할 수 있게 한다.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.