MulliVC: Conversione Vocale Multilingue con Consistenza Ciclica
MulliVC: Multi-lingual Voice Conversion With Cycle Consistency
August 8, 2024
Autori: Jiawei Huang, Chen Zhang, Yi Ren, Ziyue Jiang, Zhenhui Ye, Jinglin Liu, Jinzheng He, Xiang Yin, Zhou Zhao
cs.AI
Abstract
La conversione vocale mira a modificare la voce del parlante sorgente in modo che assomigli a quella del parlante target, preservando il contenuto originale del discorso. Nonostante i notevoli progressi nella conversione vocale negli ultimi tempi, la conversione vocale multilingue (che include sia scenari monolingue che cross-lingue) non è stata ancora ampiamente studiata. Questa affronta due principali sfide: 1) la notevole variabilità nella prosodia e nelle abitudini di articolazione tra le lingue; e 2) la rarità di dataset multilingue accoppiati provenienti dallo stesso parlante. In questo articolo, proponiamo MulliVC, un innovativo sistema di conversione vocale che converte solo il timbro e mantiene il contenuto originale e la prosodia della lingua sorgente senza l'uso di dati multilingue accoppiati. Nello specifico, ogni fase di addestramento di MulliVC contiene tre sottofasi: nella prima fase il modello viene addestrato con dati vocali monolingue; poi, le fasi due e tre si ispirano alla traduzione inversa, costruendo un processo ciclico per separare il timbro dalle altre informazioni (contenuto, prosodia e altre informazioni legate alla lingua) in assenza di dati multilingue dello stesso parlante. Sia i risultati oggettivi che quelli soggettivi indicano che MulliVC supera significativamente altri metodi sia in contesti monolingue che cross-lingue, dimostrando l'efficacia del sistema e la fattibilità dell'approccio a tre fasi con coerenza ciclica. Campioni audio sono disponibili sulla nostra pagina demo (mullivc.github.io).
English
Voice conversion aims to modify the source speaker's voice to resemble the
target speaker while preserving the original speech content. Despite notable
advancements in voice conversion these days, multi-lingual voice conversion
(including both monolingual and cross-lingual scenarios) has yet to be
extensively studied. It faces two main challenges: 1) the considerable
variability in prosody and articulation habits across languages; and 2) the
rarity of paired multi-lingual datasets from the same speaker. In this paper,
we propose MulliVC, a novel voice conversion system that only converts timbre
and keeps original content and source language prosody without multi-lingual
paired data. Specifically, each training step of MulliVC contains three
substeps: In step one the model is trained with monolingual speech data; then,
steps two and three take inspiration from back translation, construct a
cyclical process to disentangle the timbre and other information (content,
prosody, and other language-related information) in the absence of
multi-lingual data from the same speaker. Both objective and subjective results
indicate that MulliVC significantly surpasses other methods in both monolingual
and cross-lingual contexts, demonstrating the system's efficacy and the
viability of the three-step approach with cycle consistency. Audio samples can
be found on our demo page (mullivc.github.io).