Verbeter de beheersbaarheid van audiogeneratie door regularisatie van representatiegelijkenis

Enhance audio generation controllability through representation similarity regularization

September 15, 2023

Auteurs: Yangyang Shi, Gael Le Lan, Varun Nagaraja, Zhaoheng Ni, Xinhao Mei, Ernie Chang, Forrest Iandola, Yang Liu, Vikas Chandra

cs.AI

Samenvatting

Dit artikel presenteert een innovatieve aanpak om de controle over audiogeneratie te verbeteren door de afstemming tussen audio- en tekstrepresentaties tijdens de modeltraining te benadrukken. In de context van audiogeneratie op basis van taalmodelleering maakt het model gebruik van invoer van zowel tekstuele als audiotokenrepresentaties om volgende audiotokens te voorspellen. De huidige configuratie mist echter expliciete regularisatie om de afstemming tussen de gekozen tekstrepresentatie en de voorspellingen van het taalmodel te waarborgen. Ons voorstel omvat de integratie van regularisatie van audio- en tekstrepresentaties, met name tijdens de classifier-free guidance (CFG)-fase, waarbij de tekstconditie wordt uitgesloten van cross-attention tijdens de training van het taalmodel. Het doel van deze voorgestelde representatieregularisatie is om verschillen in audio- en tekstsimilariteit te minimaliseren in vergelijking met andere voorbeelden binnen dezelfde trainingsbatch. Experimentele resultaten voor zowel muziek- als audiogeneratietaken tonen aan dat onze voorgestelde methoden leiden tot verbeteringen in objectieve metrieken voor zowel audio- als muziekgeneratie, evenals een verbetering in de menselijke perceptie voor audiogeneratie.

English

This paper presents an innovative approach to enhance control over audio generation by emphasizing the alignment between audio and text representations during model training. In the context of language model-based audio generation, the model leverages input from both textual and audio token representations to predict subsequent audio tokens. However, the current configuration lacks explicit regularization to ensure the alignment between the chosen text representation and the language model's predictions. Our proposal involves the incorporation of audio and text representation regularization, particularly during the classifier-free guidance (CFG) phase, where the text condition is excluded from cross attention during language model training. The aim of this proposed representation regularization is to minimize discrepancies in audio and text similarity compared to other samples within the same training batch. Experimental results on both music and audio generation tasks demonstrate that our proposed methods lead to improvements in objective metrics for both audio and music generation, as well as an enhancement in the human perception for audio generation.