Edição de Prompt em Contexto para Geração Condicional de Áudio

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Autores: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Resumo

A mudança distribucional é um desafio central na implantação de modelos de aprendizado de máquina, pois eles podem estar mal preparados para dados do mundo real. Isso é particularmente evidente na geração de áudio a partir de texto, onde as representações codificadas são facilmente comprometidas por prompts não vistos, o que leva à degradação do áudio gerado — o conjunto limitado de pares texto-áudio permanece inadequado para a geração condicional de áudio em cenários reais, já que os prompts dos usuários são subespecificados. Em particular, observamos uma degradação consistente na qualidade do áudio em amostras geradas com prompts de usuários, em contraste com prompts do conjunto de treinamento. Para isso, apresentamos uma estrutura de edição de prompts baseada em recuperação e contexto, que utiliza as legendas de treinamento como exemplos demonstrativos para revisar os prompts dos usuários. Demonstramos que essa estrutura melhorou a qualidade do áudio em um conjunto de prompts de usuários coletados, que foram editados com referência às legendas de treinamento como exemplos.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.