Make-An-Audio 2: Zeitlich optimierte Text-zu-Audio-Generierung

Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation

May 29, 2023

Autoren: Jiawei Huang, Yi Ren, Rongjie Huang, Dongchao Yang, Zhenhui Ye, Chen Zhang, Jinglin Liu, Xiang Yin, Zejun Ma, Zhou Zhao

cs.AI

Zusammenfassung

Große Diffusionsmodelle waren bei Text-zu-Audio (T2A)-Synthesizeaufgaben erfolgreich, leiden jedoch häufig unter häufigen Problemen wie semantischer Fehlausrichtung und schlechter zeitlicher Konsistenz aufgrund von begrenztem Verständnis natürlicher Sprache und Datenknappheit. Darüber hinaus führen die in T2A-Arbeiten weit verbreiteten 2D-räumlichen Strukturen zu unbefriedigender Audioqualität bei der Erzeugung von variablen Audiolängen, da sie zeitliche Informationen nicht ausreichend priorisieren. Um diese Herausforderungen zu bewältigen, schlagen wir Make-an-Audio 2 vor, eine latente diffusionsbasierte T2A-Methode, die auf den Erfolg von Make-an-Audio aufbaut. Unser Ansatz umfasst mehrere Techniken zur Verbesserung der semantischen Ausrichtung und zeitlichen Konsistenz: Erstens verwenden wir vortrainierte große Sprachmodelle (LLMs), um den Text in strukturierte <Ereignis & Reihenfolge>-Paare zu parsen, um zeitliche Informationen besser zu erfassen. Wir führen außerdem einen weiteren strukturierten Text-Encoder ein, um das Lernen der semantischen Ausrichtung während des Diffusionsentrauschungsprozesses zu unterstützen. Um die Leistung bei der Erzeugung variabler Längen zu verbessern und die Extraktion zeitlicher Informationen zu verstärken, entwerfen wir einen feed-forward Transformer-basierten Diffusionsentrauscher. Schließlich verwenden wir LLMs, um eine große Menge an Audio-Label-Daten zu erweitern und in Audio-Text-Datensätze umzuwandeln, um das Problem der Knappheit zeitlicher Daten zu mildern. Umfangreiche Experimente zeigen, dass unsere Methode Baseline-Modelle sowohl in objektiven als auch in subjektiven Metriken übertrifft und signifikante Verbesserungen im Verständnis zeitlicher Informationen, in der semantischen Konsistenz und in der Klangqualität erzielt.

English

Large diffusion models have been successful in text-to-audio (T2A) synthesis tasks, but they often suffer from common issues such as semantic misalignment and poor temporal consistency due to limited natural language understanding and data scarcity. Additionally, 2D spatial structures widely used in T2A works lead to unsatisfactory audio quality when generating variable-length audio samples since they do not adequately prioritize temporal information. To address these challenges, we propose Make-an-Audio 2, a latent diffusion-based T2A method that builds on the success of Make-an-Audio. Our approach includes several techniques to improve semantic alignment and temporal consistency: Firstly, we use pre-trained large language models (LLMs) to parse the text into structured <event & order> pairs for better temporal information capture. We also introduce another structured-text encoder to aid in learning semantic alignment during the diffusion denoising process. To improve the performance of variable length generation and enhance the temporal information extraction, we design a feed-forward Transformer-based diffusion denoiser. Finally, we use LLMs to augment and transform a large amount of audio-label data into audio-text datasets to alleviate the problem of scarcity of temporal data. Extensive experiments show that our method outperforms baseline models in both objective and subjective metrics, and achieves significant gains in temporal information understanding, semantic consistency, and sound quality.