FastVoiceGrad: Ein-Schritt Diffusionsbasierte Sprachkonvertierung mit Adversarialischer Konditionaler Diffusionsdestillation.

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Autoren: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Zusammenfassung

Diffusionsbasierte Sprachkonvertierungstechniken wie VoiceGrad haben aufgrund ihrer hohen Leistung bei der Sprachqualität und der Sprecherähnlichkeit großes Interesse geweckt. Eine bemerkenswerte Einschränkung ist jedoch die langsame Inferenz aufgrund der mehrstufigen Umkehrdiffusion. Daher schlagen wir FastVoiceGrad vor, eine neuartige diffusionsbasierte Sprachkonvertierung in einem Schritt, die die Anzahl der Iterationen von Dutzenden auf eine reduziert, während sie die hohe Leistung der mehrstufigen diffusionsbasierten Sprachkonvertierung erbt. Wir erhalten das Modell unter Verwendung von adversarischer bedingter Diffusionsdestillation (ACDD), wobei die Fähigkeit von generativen adversarischen Netzwerken und Diffusionsmodellen genutzt wird und die Anfangszustände beim Sampling neu überdacht werden. Evaluationen der Ein-Schuss-alle-zu-alle Sprachkonvertierung zeigen, dass FastVoiceGrad eine überlegene oder vergleichbare Leistung im Vergleich zur vorherigen mehrstufigen diffusionsbasierten Sprachkonvertierung erzielt und gleichzeitig die Inferenzgeschwindigkeit verbessert. Audio-Beispiele sind verfügbar unter https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.