Melhorar a controlabilidade da geração de áudio por meio de regularização de similaridade de representação

Enhance audio generation controllability through representation similarity regularization

September 15, 2023

Autores: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra

cs.AI

Resumo

Este artigo apresenta uma abordagem inovadora para aprimorar o controle sobre a geração de áudio, enfatizando o alinhamento entre as representações de áudio e texto durante o treinamento do modelo. No contexto da geração de áudio baseada em modelos de linguagem, o modelo utiliza entradas tanto de representações de tokens de texto quanto de áudio para prever os tokens de áudio subsequentes. No entanto, a configuração atual carece de regularização explícita para garantir o alinhamento entre a representação de texto escolhida e as previsões do modelo de linguagem. Nossa proposta envolve a incorporação de regularização de representações de áudio e texto, particularmente durante a fase de orientação sem classificador (CFG), onde a condição de texto é excluída da atenção cruzada durante o treinamento do modelo de linguagem. O objetivo dessa regularização de representação proposta é minimizar discrepâncias na similaridade entre áudio e texto em comparação com outras amostras dentro do mesmo lote de treinamento. Resultados experimentais em tarefas de geração de música e áudio demonstram que nossos métodos propostos levam a melhorias em métricas objetivas tanto para a geração de áudio quanto de música, além de um aprimoramento na percepção humana para a geração de áudio.

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.