FastVoiceGrad: Одношаговая градиентная диффузия для конвертации голоса с использованием условной диффузии соперничества.

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Авторы: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Аннотация

Техники голосовой конверсии (VC) на основе диффузии, такие как VoiceGrad, привлекли внимание благодаря высокой производительности VC в терминах качества речи и сходства дикторов. Однако значительным ограничением является медленное выводимость, вызванное многоэтапной обратной диффузией. Поэтому мы предлагаем FastVoiceGrad, новую одноэтапную технику голосовой конверсии на основе диффузии, которая сокращает количество итераций с десятков до одной, сохраняя высокую производительность VC многоэтапной диффузионной техники. Модель получена с использованием метода дистилляции диффузии с условиями адверсарной (ACDD), используя возможности генеративных адверсариальных сетей и моделей диффузии, переосмысливая начальные состояния при выборке. Оценки однократной VC любого к любому показывают, что FastVoiceGrad достигает производительности VC, превосходящей или сравнимой с предыдущей многоэтапной диффузионной VC, улучшая скорость вывода. Аудиообразцы доступны по ссылке https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.