Mejorar la controlabilidad en la generación de audio mediante la regularización de similitud de representaciones

Enhance audio generation controllability through representation similarity regularization

September 15, 2023

Autores: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra

cs.AI

Resumen

Este artículo presenta un enfoque innovador para mejorar el control sobre la generación de audio, enfatizando la alineación entre las representaciones de audio y texto durante el entrenamiento del modelo. En el contexto de la generación de audio basada en modelos de lenguaje, el modelo utiliza entradas tanto de representaciones de tokens de texto como de audio para predecir los tokens de audio subsiguientes. Sin embargo, la configuración actual carece de una regularización explícita para garantizar la alineación entre la representación de texto seleccionada y las predicciones del modelo de lenguaje. Nuestra propuesta implica la incorporación de una regularización de las representaciones de audio y texto, particularmente durante la fase de guía sin clasificador (CFG, por sus siglas en inglés), donde la condición de texto se excluye de la atención cruzada durante el entrenamiento del modelo de lenguaje. El objetivo de esta regularización de representación propuesta es minimizar las discrepancias en la similitud entre audio y texto en comparación con otras muestras dentro del mismo lote de entrenamiento. Los resultados experimentales en tareas de generación de música y audio demuestran que nuestros métodos propuestos conducen a mejoras en las métricas objetivas tanto para la generación de audio como de música, así como a una mejora en la percepción humana de la generación de audio.

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.