Одна модель, разные задержки: универсальное улучшение речи для разнообразных приложений реального времени

Аннотация

Различные приложения для обработки речи в реальном времени предъявляют различные требования к задержкам, что часто требует отдельно обученных моделей улучшения для каждого сценария. В данной статье мы предлагаем универсальную модель улучшения речи в реальном времени «один за всех», обеспечивающую явный контроль как алгоритмической, так и вычислительной задержки. Алгоритмическая задержка гибко регулируется с помощью настраиваемых кадров упреждения. Чтобы избежать неэффективности обучения, вызванной изменением конфигурации дополнения, мы вводим параллельные сверточные слои, соответствующие различным настройкам упреждения. Вычислительная задержка контролируется через механизм раннего выхода, что позволяет выполнять логический вывод на различных глубинах сети. Для сокращения разрыва в производительности между специализированными и гибкими моделями мы предлагаем двухэтапную стратегию обучения с переходом от общего декодера к нескольким. В целом, предложенная архитектура позволяет развертывать единую модель при различных бюджетах задержки без повторного обучения отдельных моделей.

English

Different real-time speech applications impose distinct latency budgets, often requiring separately trained enhancement models for each scenario. In this paper, we propose a one-for-all, real-time universal speech enhancement model that provides explicit control over both algorithmic and computational latency. Algorithmic latency is flexibly adjusted via configurable look-ahead frames. To avoid learning inefficiency caused by varying padding configurations, we introduce parallel convolutional layers corresponding to different look-ahead settings. Computational latency is controlled through an early-exit mechanism, enabling inference at different network depths. To narrow the performance gap between specialized and flexible models, we propose a two-stage training strategy with a shared-to-multiple decoder transition. Overall, the proposed framework enables a single model to be deployed across diverse latency budgets without retraining separate models.