Eén model, veel latenties: Universele spraakverbetering voor diverse real-time toepassingen

Samenvatting

Verschillende real-time spraaktoepassingen stellen specifieke vertragingsbudgetten, wat vaak leidt tot het apart trainen van verbeteringsmodellen per scenario. In dit artikel introduceren we een universeel, real-time spraakverbeteringsmodel dat geschikt is voor alle scenario’s en expliciete controle biedt over zowel algoritmische als rekenkundige vertraging. De algoritmische vertraging wordt flexibel aangepast via configureerbare vooruitkijkframes. Om leerefficiëntieproblemen door variërende paddingconfiguraties te vermijden, introduceren we parallelle convolutionele lagen die overeenkomen met verschillende vooruitkijkinstellingen. De rekenkundige vertraging wordt geregeld via een vroegtijdig uittredemechanisme, waardoor inferentie op verschillende netwerkdieptes mogelijk is. Om de prestatiekloof tussen gespecialiseerde en flexibele modellen te verkleinen, stellen we een tweetraps trainingsstrategie voor met een gedeelde-naar-meervoudige decoderovergang. Over het geheel genomen stelt het voorgestelde raamwerk een enkel model in staat om te worden ingezet voor uiteenlopende vertragingsbudgetten, zonder dat afzonderlijke modellen opnieuw moeten worden getraind.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.