Make-An-Audio 2: Temporeel Verbeterde Tekst-naar-Audio Generatie

Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation

May 29, 2023

Auteurs: Jiawei Huang, Yi Ren, Rongjie Huang, Dongchao Yang, Zhenhui Ye, Chen Zhang, Jinglin Liu, Xiang Yin, Zejun Ma, Zhou Zhao

cs.AI

Samenvatting

Grote diffusiemodellen zijn succesvol gebleken in tekst-naar-audio (T2A) synthesetaken, maar ze kampen vaak met veelvoorkomende problemen zoals semantische uitlijning en slechte temporele consistentie vanwege beperkt begrip van natuurlijke taal en schaarste aan data. Bovendien leiden 2D-ruimtelijke structuren die veel worden gebruikt in T2A-werk tot onbevredigende audiokwaliteit bij het genereren van audiofragmenten met variabele lengte, omdat ze temporele informatie niet voldoende prioriteren. Om deze uitdagingen aan te pakken, stellen we Make-an-Audio 2 voor, een latent diffusie-gebaseerde T2A-methode die voortbouwt op het succes van Make-an-Audio. Onze aanpak omvat verschillende technieken om de semantische uitlijning en temporele consistentie te verbeteren: Ten eerste gebruiken we vooraf getrainde grote taalmodelen (LLM's) om de tekst te ontleden in gestructureerde <gebeurtenis & volgorde>-paren voor een betere vastlegging van temporele informatie. We introduceren ook een andere gestructureerde-tekstencoder om het leren van semantische uitlijning tijdens het diffusie-denoisingsproces te ondersteunen. Om de prestaties van generatie met variabele lengte te verbeteren en de extractie van temporele informatie te versterken, ontwerpen we een feed-forward Transformer-gebaseerde diffusie-denoiser. Tot slot gebruiken we LLM's om een grote hoeveelheid audio-labeldata om te zetten in audio-tekstdatasets om het probleem van schaarste aan temporele data te verlichten. Uitgebreide experimenten tonen aan dat onze methode de baseline-modellen overtreft in zowel objectieve als subjectieve metrieken, en aanzienlijke verbeteringen bereikt in het begrip van temporele informatie, semantische consistentie en geluidskwaliteit.

English

Large diffusion models have been successful in text-to-audio (T2A) synthesis tasks, but they often suffer from common issues such as semantic misalignment and poor temporal consistency due to limited natural language understanding and data scarcity. Additionally, 2D spatial structures widely used in T2A works lead to unsatisfactory audio quality when generating variable-length audio samples since they do not adequately prioritize temporal information. To address these challenges, we propose Make-an-Audio 2, a latent diffusion-based T2A method that builds on the success of Make-an-Audio. Our approach includes several techniques to improve semantic alignment and temporal consistency: Firstly, we use pre-trained large language models (LLMs) to parse the text into structured <event & order> pairs for better temporal information capture. We also introduce another structured-text encoder to aid in learning semantic alignment during the diffusion denoising process. To improve the performance of variable length generation and enhance the temporal information extraction, we design a feed-forward Transformer-based diffusion denoiser. Finally, we use LLMs to augment and transform a large amount of audio-label data into audio-text datasets to alleviate the problem of scarcity of temporal data. Extensive experiments show that our method outperforms baseline models in both objective and subjective metrics, and achieves significant gains in temporal information understanding, semantic consistency, and sound quality.