Um Modelo, Muitas Latências: Melhoria de Fala Universal para Diversas Aplicações em Tempo Real

Resumo

Diferentes aplicações de fala em tempo real impõem orçamentos de latência distintos, frequentemente exigindo modelos de aprimoramento treinados separadamente para cada cenário. Neste artigo, propomos um modelo universal de aprimoramento de fala em tempo real, do tipo "um para todos", que oferece controle explícito tanto sobre a latência algorítmica quanto sobre a latência computacional. A latência algorítmica é ajustada de forma flexível por meio de quadros de antecipação configuráveis. Para evitar a ineficiência de aprendizado causada por configurações variáveis de preenchimento, introduzimos camadas convolucionais paralelas correspondentes a diferentes configurações de antecipação. A latência computacional é controlada por meio de um mecanismo de saída antecipada, permitindo inferência em diferentes profundidades da rede. Para reduzir a lacuna de desempenho entre modelos especializados e flexíveis, propomos uma estratégia de treinamento em dois estágios com uma transição de decodificador compartilhado para múltiplos. No geral, a estrutura proposta possibilita que um único modelo seja implantado em diversos orçamentos de latência sem a necessidade de retreinar modelos separados.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.