条件付き音声生成のためのインコンテキストプロンプト編集

In-Context Prompt Editing For Conditional Audio Generation

November 1, 2023

著者: Ernie Chang, Pin-Jie Lin, Yang Li, Sidd Srinivasan, Gael Le Lan, David Kant, Yangyang Shi, Forrest Iandola, Vikas Chandra

cs.AI

要旨

分布シフトは、機械学習モデルの実世界データへの適用における中心的な課題である。特にテキストから音声を生成するタスクにおいて、エンコードされた表現は未知のプロンプトによって容易に損なわれ、生成音声の品質低下を引き起こす。テキストと音声のペアの限られたセットは、ユーザーのプロンプトが不十分に指定されているため、実世界での条件付き音声生成には不十分である。具体的には、トレーニングセットのプロンプトと比較して、ユーザープロンプトを用いた生成音声サンプルにおいて一貫した音質の低下が観察される。この問題に対処するため、我々はトレーニングキャプションをデモンストレーション例として活用し、ユーザープロンプトを再考する検索ベースのインコンテキストプロンプト編集フレームワークを提案する。このフレームワークにより、トレーニングキャプションを参照例として編集されたユーザープロンプトセット全体で音質が向上することを示す。

English

Distributional shift is a central challenge in the deployment of machine learning models as they can be ill-equipped for real-world data. This is particularly evident in text-to-audio generation where the encoded representations are easily undermined by unseen prompts, which leads to the degradation of generated audio -- the limited set of the text-audio pairs remains inadequate for conditional audio generation in the wild as user prompts are under-specified. In particular, we observe a consistent audio quality degradation in generated audio samples with user prompts, as opposed to training set prompts. To this end, we present a retrieval-based in-context prompt editing framework that leverages the training captions as demonstrative exemplars to revisit the user prompts. We show that the framework enhanced the audio quality across the set of collected user prompts, which were edited with reference to the training captions as exemplars.