SongCreator : Génération universelle de chansons basée sur les paroles

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

Auteurs: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

Résumé

La musique est une partie intégrante de la culture humaine, incarnant l'intelligence et la créativité humaines, dont les chansons constituent une part essentielle. Alors que divers aspects de la génération de chansons ont été explorés par des travaux antérieurs, tels que la voix chantée, la composition vocale et l'arrangement instrumental, etc., la génération de chansons avec à la fois des voix et un accompagnement donnés des paroles reste un défi majeur, entravant l'application des modèles de génération musicale dans le monde réel. Dans cette optique, nous proposons SongCreator, un système de génération de chansons conçu pour relever ce défi. Le modèle présente deux conceptions novatrices : un modèle de langage à double séquence (DSLM) minutieusement conçu pour capturer les informations des voix et de l'accompagnement pour la génération de chansons, et une stratégie de masque d'attention supplémentaire pour DSLM, qui permet à notre modèle de comprendre, générer et éditer des chansons, le rendant adapté à diverses tâches de génération liées aux chansons. Des expériences approfondies démontrent l'efficacité de SongCreator en atteignant des performances de pointe ou compétitives sur les huit tâches. Notamment, il surpasse largement les travaux antérieurs dans la transformation de paroles en chansons et en voix. De plus, il est capable de contrôler indépendamment les conditions acoustiques des voix et de l'accompagnement dans la chanson générée à travers des invitations différentes, démontrant son applicabilité potentielle. Nos échantillons sont disponibles sur https://songcreator.github.io/.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.