Редактирование контекстных подсказок для условной генерации аудио

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

Авторы: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

Аннотация

Смещение распределения представляет собой ключевую проблему при внедрении моделей машинного обучения, поскольку они могут быть недостаточно подготовлены для работы с реальными данными. Это особенно заметно в задаче генерации аудио по тексту, где закодированные представления легко нарушаются при работе с неизвестными запросами, что приводит к ухудшению качества генерируемого аудио. Ограниченный набор текстово-аудио пар остается недостаточным для условной генерации аудио в реальных условиях, так как пользовательские запросы часто недостаточно специфицированы. В частности, мы наблюдаем устойчивое ухудшение качества аудио в сгенерированных образцах при использовании пользовательских запросов по сравнению с запросами из обучающего набора. В связи с этим мы предлагаем основанную на извлечении информации структуру редактирования запросов в контексте, которая использует подписи из обучающего набора в качестве демонстративных примеров для пересмотра пользовательских запросов. Мы показываем, что данная структура улучшает качество аудио для набора собранных пользовательских запросов, которые были отредактированы с учетом подписей из обучающего набора в качестве примеров.

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.