In-Context-Prompt-Bearbeitung für bedingte Audioerzeugung

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Autoren: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Zusammenfassung

Der Verteilungsshift stellt eine zentrale Herausforderung bei der Bereitstellung von maschinellen Lernmodellen dar, da diese oft nicht für reale Daten geeignet sind. Dies zeigt sich besonders deutlich bei der Text-zu-Audio-Generierung, bei der die kodierten Darstellungen leicht durch unbekannte Eingabeaufforderungen beeinträchtigt werden, was zu einer Verschlechterung des generierten Audios führt. Die begrenzte Menge an Text-Audio-Paaren bleibt für die bedingte Audio-Generierung in der Praxis unzureichend, da Benutzereingaben oft unzureichend spezifiziert sind. Insbesondere beobachten wir eine konsistente Qualitätsverschlechterung bei generierten Audio-Samples mit Benutzereingaben im Vergleich zu Eingabeaufforderungen aus dem Trainingsdatensatz. Zu diesem Zweck präsentieren wir ein retrieval-basiertes In-Context-Prompt-Editing-Framework, das die Trainingsbeschreibungen als demonstrative Beispiele nutzt, um die Benutzereingaben zu überarbeiten. Wir zeigen, dass das Framework die Audioqualität über die gesammelten Benutzereingaben hinweg verbessert hat, die unter Bezugnahme auf die Trainingsbeschreibungen als Beispiele bearbeitet wurden.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.