Un modèle, plusieurs latences : Amélioration universelle de la parole pour diverses applications temps réel

Résumé

Différentes applications de parole en temps réel imposent des budgets de latence distincts, nécessitant souvent des modèles d’amélioration entraînés séparément pour chaque scénario. Dans cet article, nous proposons un modèle universel d’amélioration de la parole en temps réel, conçu pour répondre à tous les cas, offrant un contrôle explicite à la fois sur la latence algorithmique et la latence de calcul. La latence algorithmique est ajustée de manière flexible grâce à des trames d’anticipation configurables. Pour éviter l’inefficacité d’apprentissage causée par des configurations de padding variables, nous introduisons des couches convolutionnelles parallèles correspondant à différents réglages d’anticipation. La latence de calcul est contrôlée via un mécanisme de sortie anticipée, permettant une inférence à différentes profondeurs du réseau. Afin de réduire l’écart de performance entre les modèles spécialisés et flexibles, nous proposons une stratégie d’entraînement en deux étapes avec une transition d’un décodeur partagé à plusieurs décodeurs. Globalement, le cadre proposé permet de déployer un seul modèle sur divers budgets de latence sans avoir à réentraîner des modèles distincts.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.