StreamVoice: Stroombaar contextbewust taalmodel voor real-time zero-shot stemconversie

StreamVoice: Streamable Context-Aware Language Modeling for Real-time Zero-Shot Voice Conversion

January 19, 2024

Auteurs: Zhichao Wang, Yuanzhe Chen, Xinsheng Wang, Zhuo Chen, Lei Xie, Yuping Wang, Yuxuan Wang

cs.AI

Samenvatting

Recente vooruitgang in taalmodellen (LM) heeft indrukwekkende zero-shot stemconversie (VC) prestaties laten zien. Bestaande LM-gebaseerde VC-modellen passen echter meestal offline conversie toe van bron semantiek naar akoestische kenmerken, wat de volledige bron spraak vereist en hun inzet voor real-time toepassingen beperkt. In dit artikel introduceren we StreamVoice, een nieuw streaming LM-gebaseerd model voor zero-shot VC, dat real-time conversie mogelijk maakt bij willekeurige sprekerprompts en bron spraak. Specifiek, om streaming mogelijk te maken, gebruikt StreamVoice een volledig causaal contextbewust LM met een tijdsonafhankelijke akoestische voorspeller, terwijl het afwisselend semantische en akoestische kenmerken verwerkt bij elke tijdstap van autoregressie, wat de afhankelijkheid van volledige bron spraak elimineert. Om de mogelijke prestatievermindering door onvolledige context in streaming verwerking aan te pakken, verbeteren we het contextbewustzijn van het LM via twee strategieën: 1) leraargeleide context vooruitblik, waarbij een leraarmodel wordt gebruikt om de huidige en toekomstige semantische context samen te vatten tijdens de training om de voorspelling van het model voor ontbrekende context te begeleiden; 2) semantische maskeringsstrategie, die akoestische voorspelling bevordert vanuit voorafgaande beschadigde semantische en akoestische invoer, waardoor het context-leervermogen wordt verbeterd. Opmerkelijk is dat StreamVoice het eerste LM-gebaseerde streaming zero-shot VC model is zonder enige toekomstige vooruitblik. Experimentele resultaten demonstreren de streaming conversiecapaciteit van StreamVoice terwijl het zero-shot prestaties behoudt die vergelijkbaar zijn met niet-streaming VC-systemen.

English

Recent language model (LM) advancements have showcased impressive zero-shot voice conversion (VC) performance. However, existing LM-based VC models usually apply offline conversion from source semantics to acoustic features, demanding the complete source speech, and limiting their deployment to real-time applications. In this paper, we introduce StreamVoice, a novel streaming LM-based model for zero-shot VC, facilitating real-time conversion given arbitrary speaker prompts and source speech. Specifically, to enable streaming capability, StreamVoice employs a fully causal context-aware LM with a temporal-independent acoustic predictor, while alternately processing semantic and acoustic features at each time step of autoregression which eliminates the dependence on complete source speech. To address the potential performance degradation from the incomplete context in streaming processing, we enhance the context-awareness of the LM through two strategies: 1) teacher-guided context foresight, using a teacher model to summarize the present and future semantic context during training to guide the model's forecasting for missing context; 2) semantic masking strategy, promoting acoustic prediction from preceding corrupted semantic and acoustic input, enhancing context-learning ability. Notably, StreamVoice is the first LM-based streaming zero-shot VC model without any future look-ahead. Experimental results demonstrate StreamVoice's streaming conversion capability while maintaining zero-shot performance comparable to non-streaming VC systems.