Migliorare la controllabilità della generazione audio attraverso la regolarizzazione della similarità delle rappresentazioni

Enhance audio generation controllability through representation similarity regularization

September 15, 2023

Autori: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra

cs.AI

Abstract

Questo articolo presenta un approccio innovativo per migliorare il controllo sulla generazione audio, enfatizzando l'allineamento tra le rappresentazioni audio e testuali durante l'addestramento del modello. Nel contesto della generazione audio basata su modelli linguistici, il modello sfrutta input provenienti sia da rappresentazioni testuali che da token audio per prevedere i token audio successivi. Tuttavia, la configurazione attuale manca di una regolarizzazione esplicita per garantire l'allineamento tra la rappresentazione testuale scelta e le previsioni del modello linguistico. La nostra proposta prevede l'incorporazione di una regolarizzazione delle rappresentazioni audio e testuali, in particolare durante la fase di guida senza classificatore (CFG), in cui la condizione testuale viene esclusa dall'attenzione incrociata durante l'addestramento del modello linguistico. L'obiettivo di questa regolarizzazione delle rappresentazioni è minimizzare le discrepanze nella similarità audio e testuale rispetto ad altri campioni all'interno dello stesso batch di addestramento. I risultati sperimentali su compiti di generazione musicale e audio dimostrano che i nostri metodi proposti portano a miglioramenti nelle metriche oggettive per entrambi i tipi di generazione, nonché a un miglioramento nella percezione umana per la generazione audio.

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.