StemGen: 聴く音楽生成モデル

要旨

ディープラーニング技術を用いたエンドツーエンドの音楽オーディオ生成は、近年爆発的な進展を見せています。しかし、ほとんどのモデルは抽象的な条件付け情報に応答して完全にミックスされた音楽を生成することに集中しています。本研究では、音楽的コンテキストを聴き、それに応答する音楽生成モデルを作成するための代替パラダイムを提案します。非自己回帰型のTransformerベースのモデルアーキテクチャを使用してそのようなモデルを構築する方法を説明し、いくつかの新しいアーキテクチャとサンプリングの改善を提示します。提案されたアーキテクチャをオープンソースのデータセットと独自のデータセットの両方で学習させます。生成されたモデルを標準的な品質指標と、音楽情報検索記述子に基づく新しいアプローチを用いて評価します。その結果、このモデルはテキスト条件付きの最先端モデルと同等のオーディオ品質を達成し、コンテキストとの強い音楽的整合性を示しました。

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.

StemGen: 聴く音楽生成モデル

StemGen: A music generation model that listens

要旨

Support