Modifica Contestuale del Prompt per la Generazione Condizionata di Audio

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Autori: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Abstract

Lo spostamento distributivo rappresenta una sfida centrale nell'implementazione di modelli di apprendimento automatico, poiché questi possono essere mal equipaggiati per gestire dati del mondo reale. Questo è particolarmente evidente nella generazione audio da testo, dove le rappresentazioni codificate possono essere facilmente compromesse da prompt non visti, portando a un degrado dell'audio generato. Il limitato insieme di coppie testo-audio si rivela inadeguato per la generazione condizionata di audio in contesti reali, poiché i prompt degli utenti sono spesso sotto-specificati. In particolare, osserviamo un costante degrado della qualità audio nei campioni generati con prompt degli utenti, rispetto a quelli utilizzati durante l'addestramento. A tal fine, presentiamo un framework di modifica contestuale dei prompt basato sul retrieval, che sfrutta le didascalie di addestramento come esempi dimostrativi per rivedere i prompt degli utenti. Dimostriamo che questo framework ha migliorato la qualità audio su un insieme di prompt degli utenti raccolti, che sono stati modificati facendo riferimento alle didascalie di addestramento come esempi.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.