Génération rapide de texte en audio avec post-entraînement adversarial

Fast Text-to-Audio Generation with Adversarial Post-Training

May 13, 2025

papers.authors: Zachary Novack, Zach Evans, Zack Zukowski, Josiah Taylor, CJ Carr, Julian Parker, Adnan Al-Sinan, Gian Marco Iodice, Julian McAuley, Taylor Berg-Kirkpatrick, Jordi Pons

cs.AI

papers.abstract

Les systèmes de synthèse audio à partir de texte, bien que de plus en plus performants, sont lents au moment de l'inférence, rendant leur latence peu pratique pour de nombreuses applications créatives. Nous présentons l'entraînement postérieur Adversarial Relativistic-Contrastive (ARC), le premier algorithme d'accélération adversarial pour les modèles de diffusion/flux qui ne repose pas sur la distillation. Alors que les méthodes précédentes d'entraînement postérieur adversarial ont eu du mal à rivaliser avec leurs homologues coûteux basés sur la distillation, l'entraînement postérieur ARC est une procédure simple qui (1) étend une formulation adversarial relativiste récente à l'entraînement postérieur des modèles de diffusion/flux et (2) la combine avec un nouvel objectif de discriminateur contrastif pour encourager une meilleure adhérence aux prompts. Nous associons l'entraînement postérieur ARC à plusieurs optimisations de Stable Audio Open et construisons un modèle capable de générer environ 12 secondes d'audio stéréo à 44,1 kHz en environ 75 ms sur un H100, et environ 7 secondes sur un appareil mobile de périphérie, ce qui en fait le modèle de synthèse audio à partir de texte le plus rapide à notre connaissance.

English

Text-to-audio systems, while increasingly performant, are slow at inference time, thus making their latency unpractical for many creative applications. We present Adversarial Relativistic-Contrastive (ARC) post-training, the first adversarial acceleration algorithm for diffusion/flow models not based on distillation. While past adversarial post-training methods have struggled to compare against their expensive distillation counterparts, ARC post-training is a simple procedure that (1) extends a recent relativistic adversarial formulation to diffusion/flow post-training and (2) combines it with a novel contrastive discriminator objective to encourage better prompt adherence. We pair ARC post-training with a number optimizations to Stable Audio Open and build a model capable of generating approx12s of 44.1kHz stereo audio in approx75ms on an H100, and approx7s on a mobile edge-device, the fastest text-to-audio model to our knowledge.