Make-An-Audio 2 : Génération audio à partir de texte avec amélioration temporelle

Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation

May 29, 2023

Auteurs: Jiawei Huang, Yi Ren, Rongjie Huang, Dongchao Yang, Zhenhui Ye, Chen Zhang, Jinglin Liu, Xiang Yin, Zejun Ma, Zhou Zhao

cs.AI

Résumé

Les grands modèles de diffusion ont connu un succès dans les tâches de synthèse texte-audio (T2A), mais ils souffrent souvent de problèmes courants tels que le désalignement sémantique et une faible cohérence temporelle en raison d'une compréhension limitée du langage naturel et d'une pénurie de données. De plus, les structures spatiales 2D largement utilisées dans les travaux T2A conduisent à une qualité audio insatisfaisante lors de la génération d'échantillons audio de longueur variable, car elles ne priorisent pas adéquatement l'information temporelle. Pour relever ces défis, nous proposons Make-an-Audio 2, une méthode T2A basée sur la diffusion latente qui s'appuie sur le succès de Make-an-Audio. Notre approche inclut plusieurs techniques pour améliorer l'alignement sémantique et la cohérence temporelle : Premièrement, nous utilisons des modèles de langage pré-entraînés (LLMs) pour analyser le texte en paires structurées <événement & ordre> afin de mieux capturer l'information temporelle. Nous introduisons également un autre encodeur de texte structuré pour aider à l'apprentissage de l'alignement sémantique pendant le processus de débruitage par diffusion. Pour améliorer les performances de génération de longueur variable et renforcer l'extraction de l'information temporelle, nous concevons un débruiteur de diffusion basé sur un Transformer à propagation avant. Enfin, nous utilisons des LLMs pour augmenter et transformer une grande quantité de données audio-étiquettes en ensembles de données audio-texte afin d'atténuer le problème de pénurie de données temporelles. Des expériences approfondies montrent que notre méthode surpasse les modèles de référence à la fois dans les métriques objectives et subjectives, et obtient des gains significatifs dans la compréhension de l'information temporelle, la cohérence sémantique et la qualité sonore.

English

Large diffusion models have been successful in text-to-audio (T2A) synthesis tasks, but they often suffer from common issues such as semantic misalignment and poor temporal consistency due to limited natural language understanding and data scarcity. Additionally, 2D spatial structures widely used in T2A works lead to unsatisfactory audio quality when generating variable-length audio samples since they do not adequately prioritize temporal information. To address these challenges, we propose Make-an-Audio 2, a latent diffusion-based T2A method that builds on the success of Make-an-Audio. Our approach includes several techniques to improve semantic alignment and temporal consistency: Firstly, we use pre-trained large language models (LLMs) to parse the text into structured <event & order> pairs for better temporal information capture. We also introduce another structured-text encoder to aid in learning semantic alignment during the diffusion denoising process. To improve the performance of variable length generation and enhance the temporal information extraction, we design a feed-forward Transformer-based diffusion denoiser. Finally, we use LLMs to augment and transform a large amount of audio-label data into audio-text datasets to alleviate the problem of scarcity of temporal data. Extensive experiments show that our method outperforms baseline models in both objective and subjective metrics, and achieves significant gains in temporal information understanding, semantic consistency, and sound quality.