Make-An-Audio 2: Временное улучшение генерации аудио из текста

Аннотация

Крупные диффузионные модели достигли успеха в задачах синтеза аудио из текста (T2A), однако они часто сталкиваются с такими проблемами, как семантическое несоответствие и низкая временная согласованность, что обусловлено ограниченным пониманием естественного языка и недостатком данных. Кроме того, двумерные пространственные структуры, широко используемые в работах по T2A, приводят к неудовлетворительному качеству аудио при генерации образцов переменной длины, поскольку они недостаточно учитывают временную информацию. Для решения этих проблем мы предлагаем Make-an-Audio 2 — метод T2A на основе латентной диффузии, который развивает успех Make-an-Audio. Наш подход включает несколько техник для улучшения семантического соответствия и временной согласованности: во-первых, мы используем предобученные крупные языковые модели (LLM) для разбора текста в структурированные пары <событие & порядок>, что позволяет лучше учитывать временную информацию. Мы также вводим дополнительный структурированный текстовый кодировщик, который помогает изучать семантическое соответствие в процессе денойзинга диффузии. Для повышения производительности генерации переменной длины и улучшения извлечения временной информации мы разработали диффузионный денойзер на основе прямого трансформера. Наконец, мы используем LLM для расширения и преобразования большого количества данных с аудио-метками в аудио-текстовые наборы данных, чтобы смягчить проблему нехватки временных данных. Многочисленные эксперименты показывают, что наш метод превосходит базовые модели как по объективным, так и по субъективным метрикам, достигая значительных улучшений в понимании временной информации, семантической согласованности и качестве звука.

English

Large diffusion models have been successful in text-to-audio (T2A) synthesis tasks, but they often suffer from common issues such as semantic misalignment and poor temporal consistency due to limited natural language understanding and data scarcity. Additionally, 2D spatial structures widely used in T2A works lead to unsatisfactory audio quality when generating variable-length audio samples since they do not adequately prioritize temporal information. To address these challenges, we propose Make-an-Audio 2, a latent diffusion-based T2A method that builds on the success of Make-an-Audio. Our approach includes several techniques to improve semantic alignment and temporal consistency: Firstly, we use pre-trained large language models (LLMs) to parse the text into structured <event & order> pairs for better temporal information capture. We also introduce another structured-text encoder to aid in learning semantic alignment during the diffusion denoising process. To improve the performance of variable length generation and enhance the temporal information extraction, we design a feed-forward Transformer-based diffusion denoiser. Finally, we use LLMs to augment and transform a large amount of audio-label data into audio-text datasets to alleviate the problem of scarcity of temporal data. Extensive experiments show that our method outperforms baseline models in both objective and subjective metrics, and achieves significant gains in temporal information understanding, semantic consistency, and sound quality.

Make-An-Audio 2: Временное улучшение генерации аудио из текста

Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation

Аннотация

Support