Ein Modell, viele Latenzen: Universelle Sprachverbesserung für verschiedene Echtzeitanwendungen

Zusammenfassung

Verschiedene Echtzeit-Sprachverarbeitungsanwendungen haben unterschiedliche Latenzanforderungen, was oft separat trainierte Verbesserungsmodelle für jedes Szenario erfordert. In diesem Beitrag schlagen wir ein universelles Echtzeit-Sprachverbesserungsmodell vor, das explizite Kontrolle sowohl über die algorithmische als auch über die rechnerische Latenz bietet. Die algorithmische Latenz wird durch konfigurierbare Vorausschau-Frames flexibel angepasst. Um Ineffizienzen beim Lernen durch unterschiedliche Padding-Konfigurationen zu vermeiden, führen wir parallele Faltungsschichten ein, die verschiedenen Vorausschau-Einstellungen entsprechen. Die rechnerische Latenz wird durch einen Early-Exit-Mechanismus gesteuert, der Inferenz in unterschiedlichen Netzwerktiefen ermöglicht. Um die Leistungslücke zwischen spezialisierten und flexiblen Modellen zu verkleinern, schlagen wir eine zweistufige Trainingsstrategie mit einem Shared-to-Multiple-Decoder-Übergang vor. Insgesamt ermöglicht das vorgeschlagene Framework den Einsatz eines einzigen Modells über verschiedene Latenzbudgets hinweg, ohne separate Modelle neu trainieren zu müssen.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.