FastVoiceGrad: Conversión de voz basada en difusión de un paso con Destilación de Difusión Condicional Adversarial.

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Autores: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Resumen

Las técnicas de conversión de voz (VC) basadas en difusión, como VoiceGrad, han atraído interés debido a su alto rendimiento en términos de calidad de habla y similitud de locutor. Sin embargo, una limitación notable es la lenta inferencia causada por la difusión inversa de múltiples pasos. Por lo tanto, proponemos FastVoiceGrad, una nueva VC basada en difusión de un solo paso que reduce el número de iteraciones de docenas a una, al tiempo que hereda el alto rendimiento de VC de la VC basada en difusión de múltiples pasos. Obtenemos el modelo utilizando destilación de difusión condicional adversarial (ACDD), aprovechando la capacidad de las redes generativas adversariales y los modelos de difusión al reconsiderar los estados iniciales en el muestreo. Las evaluaciones de VC de cualquier locutor a cualquier locutor en una sola toma demuestran que FastVoiceGrad logra un rendimiento de VC superior o comparable al de VC basadas en difusión de múltiples pasos anteriores, al tiempo que mejora la velocidad de inferencia. Se pueden encontrar muestras de audio en https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.