Генерация музыки большой продолжительности с использованием латентной диффузии

Long-form music generation with latent diffusion

April 16, 2024

Авторы: Zach Evans, Julian D. Parker, CJ Carr, Zack Zukowski, Josiah Taylor, Jordi Pons

cs.AI

Аннотация

Аудио-ориентированные генеративные модели для музыки недавно сделали значительные успехи, однако до сих пор не смогли создать полноценные музыкальные композиции с цельной музыкальной структурой. Мы показываем, что обучив генеративную модель на длинных временных контекстах, можно создавать музыку продолжительностью до 4 минут 45 секунд. Наша модель состоит из диффузионного трансформера, работающего с высоко децимированным непрерывным латентным представлением (скорость латентности 21,5 Гц). Она достигает передовых результатов по метрикам качества звука и соответствия запросу, и субъективные тесты показывают, что она создает полноценную музыку с цельной структурой.

English

Audio-based generative models for music have seen great strides recently, but so far have not managed to produce full-length music tracks with coherent musical structure. We show that by training a generative model on long temporal contexts it is possible to produce long-form music of up to 4m45s. Our model consists of a diffusion-transformer operating on a highly downsampled continuous latent representation (latent rate of 21.5Hz). It obtains state-of-the-art generations according to metrics on audio quality and prompt alignment, and subjective tests reveal that it produces full-length music with coherent structure.