MulliVC: Meertalige Stemconversie Met Cyclische Consistentie

MulliVC: Multi-lingual Voice Conversion With Cycle Consistency

August 8, 2024

Auteurs: Jiawei Huang, Chen Zhang, Yi Ren, Ziyue Jiang, Zhenhui Ye, Jinglin Liu, Jinzheng He, Xiang Yin, Zhou Zhao

cs.AI

Samenvatting

Voice conversion heeft als doel de stem van de bronspreker aan te passen om te lijken op die van de doelspreker, terwijl de oorspronkelijke spraakinhoud behouden blijft. Ondanks aanzienlijke vooruitgang in voice conversion de laatste tijd, is meertalige voice conversion (inclusief zowel eentalige als cross-linguale scenario's) nog niet uitgebreid bestudeerd. Het wordt geconfronteerd met twee belangrijke uitdagingen: 1) de aanzienlijke variabiliteit in prosodie en articulatiegewoonten tussen talen; en 2) de schaarste van gepaarde meertalige datasets van dezelfde spreker. In dit artikel stellen we MulliVC voor, een nieuw voice conversion-systeem dat alleen de timbre converteert en de oorspronkelijke inhoud en prosodie van de brontaal behoudt zonder gebruik te maken van meertalige gepaarde data. Specifiek bestaat elke trainingsstap van MulliVC uit drie substappen: in stap één wordt het model getraind met eentalige spraakdata; vervolgens nemen stappen twee en drie inspiratie van back translation en construeren een cyclisch proces om de timbre en andere informatie (inhoud, prosodie en andere taalgerelateerde informatie) te ontwarren bij afwezigheid van meertalige data van dezelfde spreker. Zowel objectieve als subjectieve resultaten geven aan dat MulliVC andere methoden aanzienlijk overtreft in zowel eentalige als cross-linguale contexten, wat de effectiviteit van het systeem en de haalbaarheid van de driestapsaanpak met cyclusconsistentie aantoont. Audiovoorbeelden zijn te vinden op onze demopagina (mullivc.github.io).

English

Voice conversion aims to modify the source speaker's voice to resemble the target speaker while preserving the original speech content. Despite notable advancements in voice conversion these days, multi-lingual voice conversion (including both monolingual and cross-lingual scenarios) has yet to be extensively studied. It faces two main challenges: 1) the considerable variability in prosody and articulation habits across languages; and 2) the rarity of paired multi-lingual datasets from the same speaker. In this paper, we propose MulliVC, a novel voice conversion system that only converts timbre and keeps original content and source language prosody without multi-lingual paired data. Specifically, each training step of MulliVC contains three substeps: In step one the model is trained with monolingual speech data; then, steps two and three take inspiration from back translation, construct a cyclical process to disentangle the timbre and other information (content, prosody, and other language-related information) in the absence of multi-lingual data from the same speaker. Both objective and subjective results indicate that MulliVC significantly surpasses other methods in both monolingual and cross-lingual contexts, demonstrating the system's efficacy and the viability of the three-step approach with cycle consistency. Audio samples can be found on our demo page (mullivc.github.io).