StemGen: Ein Musikgenerierungsmodell, das zuhört

StemGen: A music generation model that listens

December 14, 2023

Autoren: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le

cs.AI

Zusammenfassung

Die End-to-End-Generierung von Musik-Audio mithilfe von Deep-Learning-Techniken hat in letzter Zeit eine explosionsartige Zunahme an Aktivitäten erlebt. Die meisten Modelle konzentrieren sich jedoch darauf, vollständig gemischte Musik als Reaktion auf abstrakte Konditionierungsinformationen zu erzeugen. In dieser Arbeit präsentieren wir ein alternatives Paradigma für die Entwicklung von Musikgenerationsmodellen, die auf musikalischen Kontext hören und darauf reagieren können. Wir beschreiben, wie ein solches Modell mit einer nicht-autoregressiven, Transformer-basierten Modellarchitektur konstruiert werden kann, und stellen eine Reihe neuartiger architektonischer und Sampling-Verbesserungen vor. Wir trainieren die beschriebene Architektur sowohl auf einem Open-Source- als auch auf einem proprietären Datensatz. Die erzeugten Modelle werden anhand standardisierter Qualitätsmetriken sowie eines neuen Ansatzes basierend auf Music-Information-Retrieval-Deskriptoren evaluiert. Das resultierende Modell erreicht die Audioqualität von state-of-the-art, textkonditionierten Modellen und zeigt gleichzeitig eine starke musikalische Kohärenz mit seinem Kontext.

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.