FastVoiceGrad：敵対的条件拡散蒸留を用いた一段階の音声変換

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

著者: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

要旨

拡散ベースの音声変換（VC）技術、例えばVoiceGradのような技術は、音声品質と話者の類似性の観点から高いVC性能を持つために注目されています。しかしながら、マルチステップの逆拡散によって引き起こされる遅い推論という顕著な制限があります。そのため、私たちはFastVoiceGradを提案します。これは、イテレーションの数を数十から1に減らす新しい1ステップの拡散ベースのVCであり、マルチステップの拡散ベースのVCの高い性能を継承しながら推論速度を向上させます。我々は、生成的対立ネットワークと拡散モデルの能力を活用し、サンプリングにおける初期状態を再考することで、Adversarial Conditional Diffusion Distillation（ACDD）を用いてモデルを取得します。1回の任意から任意へのVCの評価は、FastVoiceGradが以前のマルチステップの拡散ベースのVCよりも優れたもしくは同等のVC性能を達成しつつ、推論速度を向上させることを示しています。オーディオサンプルは以下のリンクから入手可能です：https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/。

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.