StemGen: Un modello di generazione musicale che ascolta
StemGen: A music generation model that listens
December 14, 2023
Autori: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le
cs.AI
Abstract
La generazione end-to-end di audio musicale utilizzando tecniche di deep learning ha visto un'esplosione di attività recentemente. Tuttavia, la maggior parte dei modelli si concentra sulla generazione di musica completamente mixata in risposta a informazioni di condizionamento astratte. In questo lavoro, presentiamo un paradigma alternativo per produrre modelli di generazione musicale in grado di ascoltare e rispondere al contesto musicale. Descriviamo come un tale modello possa essere costruito utilizzando un'architettura basata su transformer non autoregressiva e presentiamo una serie di miglioramenti architetturali e di campionamento innovativi. Addestriamo l'architettura descritta sia su un dataset open-source che su uno proprietario. Valutiamo i modelli prodotti utilizzando metriche di qualità standard e un nuovo approccio basato su descrittori di music information retrieval. Il modello risultante raggiunge la qualità audio dei modelli all'avanguardia condizionati da testo, oltre a mostrare una forte coerenza musicale con il suo contesto.
English
End-to-end generation of musical audio using deep learning techniques has
seen an explosion of activity recently. However, most models concentrate on
generating fully mixed music in response to abstract conditioning information.
In this work, we present an alternative paradigm for producing music generation
models that can listen and respond to musical context. We describe how such a
model can be constructed using a non-autoregressive, transformer-based model
architecture and present a number of novel architectural and sampling
improvements. We train the described architecture on both an open-source and a
proprietary dataset. We evaluate the produced models using standard quality
metrics and a new approach based on music information retrieval descriptors.
The resulting model reaches the audio quality of state-of-the-art
text-conditioned models, as well as exhibiting strong musical coherence with
its context.