FastVoiceGrad : Conversion de voix basée sur la diffusion en une étape avec distillation de diffusion conditionnelle adversaire

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Auteurs: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Résumé

Les techniques de conversion vocale (VC) basées sur la diffusion, telles que VoiceGrad, ont suscité un intérêt en raison de leurs performances élevées en termes de qualité de la parole et de similarité des locuteurs. Cependant, une limitation notable est la lenteur de l'inférence causée par la diffusion inverse multi-étapes. Par conséquent, nous proposons FastVoiceGrad, une nouvelle VC basée sur la diffusion en une étape qui réduit le nombre d'itérations de dizaines à une seule tout en conservant les performances élevées de la VC basée sur la diffusion multi-étapes. Nous obtenons le modèle en utilisant la distillation de diffusion conditionnelle adversariale (ACDD), exploitant la capacité des réseaux antagonistes génératifs et des modèles de diffusion tout en réexaminant les états initiaux lors de l'échantillonnage. Les évaluations de la VC de tout-à-tout en une seule étape démontrent que FastVoiceGrad atteint des performances de VC supérieures ou comparables à celles des précédentes VC basées sur la diffusion multi-étapes tout en améliorant la vitesse d'inférence. Des échantillons audio sont disponibles sur https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.