Make-An-Audio 2: 시간적 강화 텍스트-투-오디오 생성

Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation

May 29, 2023

저자: Jiawei Huang, Yi Ren, Rongjie Huang, Dongchao Yang, Zhenhui Ye, Chen Zhang, Jinglin Liu, Xiang Yin, Zejun Ma, Zhou Zhao

cs.AI

초록

대규모 확산 모델은 텍스트-오디오(T2A) 합성 작업에서 성공을 거두었지만, 자연어 이해의 한계와 데이터 부족으로 인해 의미적 불일치 및 시간적 일관성 저하와 같은 일반적인 문제를 자주 겪습니다. 또한, T2A 작업에서 널리 사용되는 2D 공간 구조는 시간적 정보를 충분히 우선시하지 않아 가변 길이 오디오 샘플을 생성할 때 만족스럽지 못한 오디오 품질을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 Make-an-Audio의 성공을 기반으로 한 잠재 확산 기반 T2A 방법인 Make-an-Audio 2를 제안합니다. 우리의 접근 방식은 의미적 일관성과 시간적 일관성을 개선하기 위해 여러 기술을 포함합니다: 첫째, 사전 훈련된 대규모 언어 모델(LLM)을 사용하여 텍스트를 구조화된 <이벤트 및 순서> 쌍으로 파싱하여 시간적 정보를 더 잘 포착합니다. 또한, 확산 노이즈 제거 과정에서 의미적 일관성을 학습하는 데 도움을 주기 위해 또 다른 구조화된 텍스트 인코더를 도입합니다. 가변 길이 생성의 성능을 개선하고 시간적 정보 추출을 강화하기 위해, 피드포워드 트랜스포머 기반의 확산 노이즈 제거기를 설계합니다. 마지막으로, LLM을 사용하여 대량의 오디오-레이블 데이터를 오디오-텍스트 데이터셋으로 증강 및 변환하여 시간적 데이터 부족 문제를 완화합니다. 광범위한 실험을 통해 우리의 방법이 객관적 및 주관적 지표 모두에서 기준 모델을 능가하며, 시간적 정보 이해, 의미적 일관성 및 음질에서 상당한 향상을 달성함을 보여줍니다.

English

Large diffusion models have been successful in text-to-audio (T2A) synthesis tasks, but they often suffer from common issues such as semantic misalignment and poor temporal consistency due to limited natural language understanding and data scarcity. Additionally, 2D spatial structures widely used in T2A works lead to unsatisfactory audio quality when generating variable-length audio samples since they do not adequately prioritize temporal information. To address these challenges, we propose Make-an-Audio 2, a latent diffusion-based T2A method that builds on the success of Make-an-Audio. Our approach includes several techniques to improve semantic alignment and temporal consistency: Firstly, we use pre-trained large language models (LLMs) to parse the text into structured <event & order> pairs for better temporal information capture. We also introduce another structured-text encoder to aid in learning semantic alignment during the diffusion denoising process. To improve the performance of variable length generation and enhance the temporal information extraction, we design a feed-forward Transformer-based diffusion denoiser. Finally, we use LLMs to augment and transform a large amount of audio-label data into audio-text datasets to alleviate the problem of scarcity of temporal data. Extensive experiments show that our method outperforms baseline models in both objective and subjective metrics, and achieves significant gains in temporal information understanding, semantic consistency, and sound quality.