StreamVoice: Modelagem de Linguagem com Consciência de Contexto Transmissível para Conversão de Voz em Tempo Real com Zero-Shot

StreamVoice: Streamable Context-Aware Language Modeling for Real-time Zero-Shot Voice Conversion

January 19, 2024

Autores: Zhichao Wang, Yuanzhe Chen, Xinsheng Wang, Zhuo Chen, Lei Xie, Yuping Wang, Yuxuan Wang

cs.AI

Resumo

Os avanços recentes em modelos de linguagem (LM) têm demonstrado desempenho impressionante em conversão de voz (VC) zero-shot. No entanto, os modelos de VC baseados em LM existentes geralmente aplicam a conversão offline de semântica de origem para características acústicas, exigindo o discurso de origem completo e limitando sua implantação em aplicações em tempo real. Neste artigo, apresentamos o StreamVoice, um novo modelo de streaming baseado em LM para VC zero-shot, facilitando a conversão em tempo real com prompts de falante e discurso de origem arbitrários. Especificamente, para habilitar a capacidade de streaming, o StreamVoice emprega um LM totalmente causal com consciência de contexto e um preditor acústico independente temporal, enquanto processa alternadamente características semânticas e acústicas em cada passo de tempo da autoregressão, eliminando a dependência do discurso de origem completo. Para abordar a possível degradação de desempenho devido ao contexto incompleto no processamento de streaming, aprimoramos a consciência de contexto do LM por meio de duas estratégias: 1) previsão de contexto guiada por professor, usando um modelo professor para resumir o contexto semântico presente e futuro durante o treinamento, orientando a previsão do modelo para o contexto ausente; 2) estratégia de mascaramento semântico, promovendo a predição acústica a partir de entradas semânticas e acústicas corrompidas anteriores, aprimorando a capacidade de aprendizado de contexto. Notavelmente, o StreamVoice é o primeiro modelo de VC zero-shot baseado em LM sem qualquer antecipação de futuro. Os resultados experimentais demonstram a capacidade de conversão em streaming do StreamVoice, mantendo um desempenho zero-shot comparável aos sistemas de VC não streaming.

English

Recent language model (LM) advancements have showcased impressive zero-shot voice conversion (VC) performance. However, existing LM-based VC models usually apply offline conversion from source semantics to acoustic features, demanding the complete source speech, and limiting their deployment to real-time applications. In this paper, we introduce StreamVoice, a novel streaming LM-based model for zero-shot VC, facilitating real-time conversion given arbitrary speaker prompts and source speech. Specifically, to enable streaming capability, StreamVoice employs a fully causal context-aware LM with a temporal-independent acoustic predictor, while alternately processing semantic and acoustic features at each time step of autoregression which eliminates the dependence on complete source speech. To address the potential performance degradation from the incomplete context in streaming processing, we enhance the context-awareness of the LM through two strategies: 1) teacher-guided context foresight, using a teacher model to summarize the present and future semantic context during training to guide the model's forecasting for missing context; 2) semantic masking strategy, promoting acoustic prediction from preceding corrupted semantic and acoustic input, enhancing context-learning ability. Notably, StreamVoice is the first LM-based streaming zero-shot VC model without any future look-ahead. Experimental results demonstrate StreamVoice's streaming conversion capability while maintaining zero-shot performance comparable to non-streaming VC systems.