シンプルで制御可能な音楽生成

要旨

条件付き音楽生成のタスクに取り組みます。本論文では、複数の圧縮された離散音楽表現（トークン）のストリーム上で動作する単一の言語モデル（LM）であるMusicGenを紹介します。従来の研究とは異なり、MusicGenは単一段階のトランスフォーマーLMと効率的なトークンインターリーブパターンで構成されており、階層的またはアップサンプリングといった複数モデルのカスケードを必要としません。このアプローチに従い、MusicGenがテキスト記述やメロディック特徴に基づいて高品質なサンプルを生成し、生成される出力に対する制御を向上させる方法を示します。自動評価と人間による評価の両方を考慮した広範な実証的評価を行い、提案手法が標準的なテキストから音楽へのベンチマークにおいて評価されたベースラインを上回ることを示します。アブレーション研究を通じて、MusicGenを構成する各コンポーネントの重要性を明らかにします。音楽サンプル、コード、およびモデルはhttps://github.com/facebookresearch/audiocraftで公開されています。

English

We tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hierarchically or upsampling. Following this approach, we demonstrate how MusicGen can generate high-quality samples, while being conditioned on textual description or melodic features, allowing better controls over the generated output. We conduct extensive empirical evaluation, considering both automatic and human studies, showing the proposed approach is superior to the evaluated baselines on a standard text-to-music benchmark. Through ablation studies, we shed light over the importance of each of the components comprising MusicGen. Music samples, code, and models are available at https://github.com/facebookresearch/audiocraft.

シンプルで制御可能な音楽生成

Simple and Controllable Music Generation

要旨

Support