In-Context Promptbewerking voor Conditionele Audiogeneratie

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Auteurs: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Samenvatting

Distributieverschuiving vormt een centrale uitdaging bij de implementatie van machine learning-modellen, aangezien deze vaak niet goed zijn uitgerust voor real-world data. Dit is vooral duidelijk in tekst-naar-audio-generatie, waar de gecodeerde representaties gemakkelijk ondermijnd worden door onbekende prompts, wat leidt tot een verslechtering van de gegenereerde audio. De beperkte set tekst-audio-paren blijkt onvoldoende voor conditionele audiogeneratie in de praktijk, omdat gebruikersprompts vaak ondergespecificeerd zijn. In het bijzonder observeren we een consistente kwaliteitsafname in gegenereerde audiofragmenten bij gebruikersprompts, in tegenstelling tot prompts uit de trainingsset. Daarom presenteren we een retrieval-gebaseerd in-context promptbewerkingsframework dat gebruikmaakt van de trainingsbeschrijvingen als demonstratieve voorbeelden om de gebruikersprompts te herzien. We tonen aan dat het framework de audiokwaliteit verbeterde over de verzamelde set gebruikersprompts, die werden bewerkt met verwijzing naar de trainingsbeschrijvingen als voorbeelden.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.