表現類似性正則化による音声生成の制御性向上

要旨

本論文は、モデル学習中にオーディオとテキスト表現の整合性を強調することで、オーディオ生成の制御を強化する革新的なアプローチを提案する。言語モデルベースのオーディオ生成において、モデルはテキストとオーディオのトークン表現の両方からの入力を活用して、後続のオーディオトークンを予測する。しかし、現在の構成では、選択されたテキスト表現と言語モデルの予測との整合性を保証する明示的な正則化が欠けている。我々の提案は、特に分類器不要ガイダンス（CFG）フェーズにおいて、オーディオとテキスト表現の正則化を組み込むことである。このフェーズでは、言語モデル学習中にテキスト条件がクロスアテンションから除外される。この提案された表現正則化の目的は、同じトレーニングバッチ内の他のサンプルと比較して、オーディオとテキストの類似性における不一致を最小化することである。音楽およびオーディオ生成タスクにおける実験結果は、提案手法がオーディオと音楽生成の両方において客観的指標の改善をもたらし、オーディオ生成における人間の知覚も向上させることを示している。

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.

表現類似性正則化による音声生成の制御性向上

Enhance audio generation controllability through representation similarity regularization

要旨

Support