FastVoiceGrad: Conversione Vocale Basata sulla Diffusione in un Passaggio con Distillazione della Diffusione Condizionale Avversaria.

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Autori: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Abstract

Le tecniche di conversione vocale (VC) basate sulla diffusione, come VoiceGrad, hanno suscitato interesse grazie alle loro elevate prestazioni in termini di qualità del parlato e similitudine del parlante. Tuttavia, una limitazione notevole è la lentezza dell'inferenza causata dalla diffusione inversa a più passaggi. Pertanto, proponiamo FastVoiceGrad, una nuova VC basata sulla diffusione in un solo passaggio che riduce il numero di iterazioni da decine a una, pur ereditando le elevate prestazioni della VC basata sulla diffusione a più passaggi. Otteniamo il modello utilizzando la distillazione della diffusione condizionale avversaria (ACDD), sfruttando la capacità delle reti generative avversarie e dei modelli di diffusione, riconsiderando gli stati iniziali nel campionamento. Le valutazioni della VC any-to-any in un colpo solo dimostrano che FastVoiceGrad raggiunge prestazioni di VC superiori o paragonabili a quelle della precedente VC basata sulla diffusione a più passaggi, migliorando nel contempo la velocità di inferenza. Campioni audio sono disponibili su https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.