Un modelo, múltiples latencias: Mejora universal del habla para diversas aplicaciones en tiempo real

Resumen

Diferentes aplicaciones de habla en tiempo real imponen presupuestos de latencia distintos, lo que a menudo requiere modelos de mejora entrenados por separado para cada escenario. En este artículo, proponemos un modelo universal de mejora del habla en tiempo real, válido para todos los casos, que proporciona un control explícito tanto sobre la latencia algorítmica como sobre la computacional. La latencia algorítmica se ajusta de forma flexible mediante marcos de anticipación configurables. Para evitar la ineficiencia en el aprendizaje causada por configuraciones de relleno variables, introducimos capas convolucionales paralelas que corresponden a diferentes ajustes de anticipación. La latencia computacional se controla mediante un mecanismo de salida temprana, que permite la inferencia a distintas profundidades de la red. Para reducir la brecha de rendimiento entre modelos especializados y flexibles, proponemos una estrategia de entrenamiento en dos etapas con una transición de decodificador compartido a múltiple. En conjunto, el marco propuesto permite que un único modelo se despliegue en diversos presupuestos de latencia sin necesidad de reentrenar modelos por separado.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.