Повышение управляемости генерации аудио через регуляризацию сходства представлений

Enhance audio generation controllability through representation similarity regularization

September 15, 2023

Авторы: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra

cs.AI

Аннотация

В данной статье представлен инновационный подход к улучшению контроля над генерацией аудио за счет акцентирования на согласованности между аудио- и текстовыми представлениями в процессе обучения модели. В контексте генерации аудио на основе языковых моделей, модель использует входные данные как из текстовых, так и из аудио-токенов для предсказания последующих аудио-токенов. Однако текущая конфигурация не включает явной регуляризации, которая бы обеспечивала согласованность между выбранным текстовым представлением и предсказаниями языковой модели. Наше предложение заключается во внедрении регуляризации аудио- и текстовых представлений, особенно на этапе классификатор-свободного управления (CFG), где текстовое условие исключается из кросс-внимания в процессе обучения языковой модели. Цель данной регуляризации представлений — минимизировать расхождения в сходстве аудио и текста по сравнению с другими образцами в рамках одного обучающего батча. Результаты экспериментов на задачах генерации музыки и аудио показывают, что предложенные методы приводят к улучшению объективных метрик как для генерации аудио, так и для генерации музыки, а также к повышению качества восприятия аудио человеком.

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.