Édition de Prompt en Contexte pour la Génération Audio Conditionnelle

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Auteurs: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Résumé

Le décalage distributionnel constitue un défi majeur dans le déploiement des modèles d'apprentissage automatique, car ceux-ci peuvent être mal adaptés aux données du monde réel. Ce phénomène est particulièrement visible dans la génération texte-audio, où les représentations encodées sont facilement compromises par des invites inédites, entraînant une dégradation de l'audio généré. L'ensemble limité de paires texte-audio reste insuffisant pour la génération audio conditionnelle dans des contextes réels, car les invites des utilisateurs sont souvent sous-spécifiées. En particulier, nous observons une dégradation constante de la qualité audio dans les échantillons générés à partir d'invites utilisateurs, par opposition aux invites du jeu d'entraînement. Pour remédier à cela, nous proposons un cadre d'édition contextuelle d'invites basé sur la récupération, qui exploite les légendes d'entraînement comme exemples démonstratifs pour revisiter les invites des utilisateurs. Nous montrons que ce cadre améliore la qualité audio sur l'ensemble des invites utilisateurs collectées, qui ont été éditées en référence aux légendes d'entraînement utilisées comme exemples.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.