FastVoiceGrad: Conversão de Voz Baseada em Difusão de um Passo com Destilação de Difusão Condicional Adversarial.

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Autores: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Resumo

Técnicas de conversão de voz baseadas em difusão, como o VoiceGrad, têm atraído interesse devido ao seu alto desempenho em termos de qualidade de fala e similaridade de locutor. No entanto, uma limitação notável é a inferência lenta causada pela difusão reversa em múltiplas etapas. Portanto, propomos o FastVoiceGrad, uma nova técnica de conversão de voz baseada em difusão de uma etapa que reduz o número de iterações de dezenas para uma, ao mesmo tempo que herda o alto desempenho de conversão de voz das técnicas baseadas em difusão de múltiplas etapas. Obtemos o modelo usando a destilação de difusão condicional adversarial (ACDD), aproveitando a capacidade de redes adversariais generativas e modelos de difusão, enquanto reconsideramos os estados iniciais na amostragem. Avaliações de conversão de voz de qualquer para qualquer em uma única etapa demonstram que o FastVoiceGrad alcança um desempenho de conversão de voz superior ou comparável ao das técnicas anteriores baseadas em difusão de múltiplas etapas, ao mesmo tempo que aprimora a velocidade de inferência. Amostras de áudio estão disponíveis em https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.