SongCreator: 歌詞ベースの汎用曲生成

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

著者: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

要旨

音楽は人間の文化の重要な要素であり、人間の知性と創造性を具珽し、その中で歌は重要な部分を構成しています。過去の研究では、歌声、ボーカル作曲、楽器編成など、歌の生成のさまざまな側面が探求されてきましたが、歌詞が与えられた状態でボーカルと伴奏を持つ歌を生成することは、現実世界での音楽生成モデルの応用を妨げる重要な課題です。この観点から、私たちはこの課題に取り組むために設計された歌生成システムであるSongCreatorを提案します。このモデルには、2つの革新的な設計が特徴として組み込まれています。ボーカルと伴奏の情報を捉えるための入念に設計されたデュアルシーケンス言語モデル（DSLM）と、DSLM用の追加の注意マスク戦略が含まれており、これによりモデルは歌を理解し、生成し、編集することが可能となり、さまざまな歌に関連する生成タスクに適しています。包括的な実験により、SongCreatorの効果が実証され、8つのタスクすべてで最先端または競争力のあるパフォーマンスを達成しています。特に、歌詞から歌曲へ、歌詞からボーカルへの点で、過去の研究を大きく上回っています。さらに、異なるプロンプトを使用して生成された歌でボーカルと伴奏の音響条件を独立に制御することができ、その潜在的な適用可能性を示しています。サンプルはhttps://songcreator.github.io/ で入手可能です。

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.