ChatPaper.aiChatPaper

Verbesserung der Kontrollierbarkeit der Audiogenerierung durch Regularisierung der Ähnlichkeit von Repräsentationen

Enhance audio generation controllability through representation similarity regularization

September 15, 2023
Autoren: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra
cs.AI

Zusammenfassung

Dieses Papier präsentiert einen innovativen Ansatz zur Verbesserung der Kontrolle über die Audiogenerierung, indem die Ausrichtung zwischen Audio- und Textrepräsentationen während des Modelltrainings betont wird. Im Kontext der sprachmodellbasierten Audiogenerierung nutzt das Modell Eingaben sowohl aus textuellen als auch aus Audio-Token-Repräsentationen, um nachfolgende Audio-Token vorherzusagen. Die derzeitige Konfiguration weist jedoch keine explizite Regularisierung auf, um die Ausrichtung zwischen der gewählten Textrepräsentation und den Vorhersagen des Sprachmodells sicherzustellen. Unser Vorschlag beinhaltet die Einführung einer Regularisierung für Audio- und Textrepräsentationen, insbesondere während der Phase der klassifikatorfreien Führung (Classifier-Free Guidance, CFG), bei der die Textbedingung während des Trainings des Sprachmodells von der Kreuzaufmerksamkeit ausgeschlossen wird. Ziel dieser vorgeschlagenen Repräsentationsregularisierung ist es, Diskrepanzen in der Ähnlichkeit von Audio und Text im Vergleich zu anderen Proben innerhalb desselben Trainingsbatches zu minimieren. Experimentelle Ergebnisse sowohl bei Aufgaben zur Musik- als auch zur Audiogenerierung zeigen, dass unsere vorgeschlagenen Methoden zu Verbesserungen in objektiven Metriken für beide Generierungsarten führen sowie zu einer Steigerung der menschlichen Wahrnehmung bei der Audiogenerierung.
English
This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.
PDF41December 15, 2024