SongCreator: Создание универсальных песен на основе текстов.

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

Авторы: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

Аннотация

Музыка является неотъемлемой частью человеческой культуры, воплощая в себе человеческий интеллект и творчество, из которых песни составляют существенную часть. Хотя различные аспекты генерации песен были исследованы в предыдущих работах, таких как вокальное исполнение, вокальная композиция и инструментальное оформление и т. д., генерация песен с вокалом и аккомпанементом по заданным текстам остается значительным вызовом, затрудняя применение моделей генерации музыки в реальном мире. В этом контексте мы предлагаем SongCreator, систему генерации песен, разработанную для решения этой проблемы. Модель включает два новаторских решения: тщательно разработанную двухпоследовательную языковую модель (DSLM) для улавливания информации о вокале и аккомпанементе для генерации песен, а также дополнительную стратегию маскирования внимания для DSLM, позволяющую нашей модели понимать, генерировать и редактировать песни, что делает ее подходящей для различных задач, связанных с генерацией песен. Обширные эксперименты демонстрируют эффективность SongCreator, достигая передовых или конкурентоспособных результатов по всем восьми задачам. Особенно стоит отметить, что она превосходит предыдущие работы с большим отрывом в преобразовании текста в песню и текста в вокал. Кроме того, она способна независимо контролировать акустические условия вокала и аккомпанемента в созданной песне с помощью различных подсказок, демонстрируя свою потенциальную применимость. Наши образцы доступны по адресу https://songcreator.github.io/.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.