StemGen: Модель генерации музыки, которая слушает

StemGen: A music generation model that listens

December 14, 2023

Авторы: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le

cs.AI

Аннотация

Сквозная генерация музыкального аудио с использованием методов глубокого обучения в последнее время переживает взрывной рост активности. Однако большинство моделей сосредоточены на создании полностью сведенной музыки в ответ на абстрактные условия. В данной работе мы предлагаем альтернативную парадигму для создания моделей генерации музыки, которые способны слушать и реагировать на музыкальный контекст. Мы описываем, как такая модель может быть построена с использованием неавторегрессивной архитектуры на основе трансформеров, и представляем ряд новых архитектурных улучшений и усовершенствований в процессе сэмплирования. Мы обучаем описанную архитектуру как на открытых, так и на проприетарных наборах данных. Произведенные модели оцениваются с использованием стандартных метрик качества и нового подхода, основанного на дескрипторах извлечения музыкальной информации. Полученная модель достигает качества аудио, сопоставимого с современными моделями, обусловленными текстом, а также демонстрирует высокую музыкальную согласованность с контекстом.

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.