FastVoiceGrad: Eénstaps stemconversie op basis van diffusie met adversarial conditionele diffusiedistillatie

FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

September 3, 2024

Auteurs: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

cs.AI

Samenvatting

Diffusiegebaseerde stemconversie (VC) technieken zoals VoiceGrad hebben aandacht getrokken vanwege hun hoge VC-prestaties op het gebied van spraakkwaliteit en sprekersgelijkenis. Een opvallende beperking is echter de trage inferentie veroorzaakt door de multi-stap omgekeerde diffusie. Daarom stellen we FastVoiceGrad voor, een nieuwe één-stap diffusiegebaseerde VC die het aantal iteraties van tientallen terugbrengt naar één, terwijl de hoge VC-prestaties van de multi-stap diffusiegebaseerde VC behouden blijven. We verkrijgen het model door middel van adversarial conditionele diffusiedistillatie (ACDD), waarbij we gebruikmaken van de mogelijkheden van generatieve adversariële netwerken en diffusiemodellen, terwijl we de initiële toestanden in de sampling heroverwegen. Evaluaties van one-shot any-to-any VC tonen aan dat FastVoiceGrad VC-prestaties bereikt die superieur of vergelijkbaar zijn met die van eerdere multi-stap diffusiegebaseerde VC, terwijl de inferentiesnelheid wordt verbeterd. Audiovoorbeelden zijn beschikbaar op https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.

English

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.