StreamVoice: Modellazione Linguistica Contestuale in Streaming per la Conversione Vocale in Tempo Reale con Zero-Shot

StreamVoice: Streamable Context-Aware Language Modeling for Real-time Zero-Shot Voice Conversion

January 19, 2024

Autori: Zhichao Wang, Yuanzhe Chen, Xinsheng Wang, Zhuo Chen, Lei Xie, Yuping Wang, Yuxuan Wang

cs.AI

Abstract

I recenti progressi nei modelli linguistici (LM) hanno dimostrato prestazioni impressionanti nella conversione vocale (VC) zero-shot. Tuttavia, i modelli VC basati su LM esistenti applicano solitamente una conversione offline dalla semantica di origine alle caratteristiche acustiche, richiedendo il discorso di origine completo e limitando il loro utilizzo in applicazioni in tempo reale. In questo articolo, introduciamo StreamVoice, un nuovo modello streaming basato su LM per la VC zero-shot, che facilita la conversione in tempo reale dati prompt di parlanti arbitrari e discorso di origine. Nello specifico, per abilitare la capacità di streaming, StreamVoice utilizza un LM completamente causale con consapevolezza contestuale e un predittore acustico indipendente dal tempo, elaborando alternativamente le caratteristiche semantiche e acustiche ad ogni passo temporale dell'autoregressione, eliminando così la dipendenza dal discorso di origine completo. Per affrontare il potenziale degrado delle prestazioni dovuto al contesto incompleto nell'elaborazione in streaming, miglioriamo la consapevolezza contestuale del LM attraverso due strategie: 1) previsione contestuale guidata da un insegnante, utilizzando un modello insegnante per riassumere il contesto semantico presente e futuro durante l'addestramento, guidando così la previsione del modello per il contesto mancante; 2) strategia di mascheramento semantico, promuovendo la previsione acustica a partire da input semantici e acustici precedenti corrotti, migliorando la capacità di apprendimento contestuale. È importante notare che StreamVoice è il primo modello di VC zero-shot streaming basato su LM senza alcuna previsione futura. I risultati sperimentali dimostrano la capacità di conversione in streaming di StreamVoice, mantenendo prestazioni zero-shot paragonabili ai sistemi VC non streaming.

English

Recent language model (LM) advancements have showcased impressive zero-shot voice conversion (VC) performance. However, existing LM-based VC models usually apply offline conversion from source semantics to acoustic features, demanding the complete source speech, and limiting their deployment to real-time applications. In this paper, we introduce StreamVoice, a novel streaming LM-based model for zero-shot VC, facilitating real-time conversion given arbitrary speaker prompts and source speech. Specifically, to enable streaming capability, StreamVoice employs a fully causal context-aware LM with a temporal-independent acoustic predictor, while alternately processing semantic and acoustic features at each time step of autoregression which eliminates the dependence on complete source speech. To address the potential performance degradation from the incomplete context in streaming processing, we enhance the context-awareness of the LM through two strategies: 1) teacher-guided context foresight, using a teacher model to summarize the present and future semantic context during training to guide the model's forecasting for missing context; 2) semantic masking strategy, promoting acoustic prediction from preceding corrupted semantic and acoustic input, enhancing context-learning ability. Notably, StreamVoice is the first LM-based streaming zero-shot VC model without any future look-ahead. Experimental results demonstrate StreamVoice's streaming conversion capability while maintaining zero-shot performance comparable to non-streaming VC systems.