Tango 2 : Alignement des générations texte-audio basées sur la diffusion par optimisation directe des préférences

Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization

April 15, 2024

Auteurs: Navonil Majumder, Chia-Yu Hung, Deepanway Ghosal, Wei-Ning Hsu, Rada Mihalcea, Soujanya Poria

cs.AI

Résumé

Le contenu multimodal génératif devient de plus en plus répandu dans le domaine de la création de contenu, car il offre la possibilité aux artistes et aux professionnels des médias de créer des maquettes de préproduction en donnant rapidement vie à leurs idées. La génération d'audio à partir de prompts textuels est un aspect crucial de ces processus dans les industries de la musique et du cinéma. De nombreux modèles récents de text-to-audio basés sur la diffusion se concentrent sur l'entraînement de modèles de diffusion de plus en plus sophistiqués sur un vaste ensemble de données de paires prompt-audio. Ces modèles ne se focalisent pas explicitement sur la présence de concepts ou d'événements, ni sur leur ordre temporel dans l'audio généré par rapport au prompt d'entrée. Notre hypothèse est que l'attention portée à ces aspects de la génération audio pourrait améliorer les performances de génération audio en présence de données limitées. Ainsi, dans ce travail, en utilisant un modèle text-to-audio existant, Tango, nous créons synthétiquement un ensemble de données de préférences où chaque prompt est associé à une sortie audio gagnante et à plusieurs sorties audio perdantes, afin que le modèle de diffusion puisse apprendre. Les sorties perdantes, en théorie, omettent certains concepts du prompt ou les présentent dans un ordre incorrect. Nous affinons le modèle text-to-audio Tango, disponible publiquement, en utilisant la perte de diffusion-DPO (optimisation directe des préférences) sur notre ensemble de données de préférences, et montrons que cela conduit à une amélioration de la sortie audio par rapport à Tango et AudioLDM2, tant en termes de métriques d'évaluation automatiques que manuelles.

English

Generative multimodal content is increasingly prevalent in much of the content creation arena, as it has the potential to allow artists and media personnel to create pre-production mockups by quickly bringing their ideas to life. The generation of audio from text prompts is an important aspect of such processes in the music and film industry. Many of the recent diffusion-based text-to-audio models focus on training increasingly sophisticated diffusion models on a large set of datasets of prompt-audio pairs. These models do not explicitly focus on the presence of concepts or events and their temporal ordering in the output audio with respect to the input prompt. Our hypothesis is focusing on how these aspects of audio generation could improve audio generation performance in the presence of limited data. As such, in this work, using an existing text-to-audio model Tango, we synthetically create a preference dataset where each prompt has a winner audio output and some loser audio outputs for the diffusion model to learn from. The loser outputs, in theory, have some concepts from the prompt missing or in an incorrect order. We fine-tune the publicly available Tango text-to-audio model using diffusion-DPO (direct preference optimization) loss on our preference dataset and show that it leads to improved audio output over Tango and AudioLDM2, in terms of both automatic- and manual-evaluation metrics.