SongCreator: Op tekst gebaseerde Universele Liedgeneratie

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

Auteurs: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

Samenvatting

Muziek is een integraal onderdeel van de menselijke cultuur, waarin menselijke intelligentie en creativiteit tot uiting komen, waarbij liederen een essentieel onderdeel vormen. Hoewel eerdere werken verschillende aspecten van liedgeneratie hebben onderzocht, zoals zangstem, vocale compositie en instrumentale arrangementen, blijft het genereren van liederen met zowel zang als begeleiding op basis van songteksten een aanzienlijke uitdaging, waardoor de toepassing van muziekgeneratiemodellen in de echte wereld wordt belemmerd. In dit opzicht stellen wij SongCreator voor, een liedgeneratiesysteem dat is ontworpen om deze uitdaging aan te gaan. Het model bevat twee nieuwe ontwerpen: een zorgvuldig ontworpen tweetalige taalmodel (DSLM) om de informatie van zang en begeleiding voor liedgeneratie vast te leggen, en een aanvullende aandachtsmaskerstrategie voor DSLM, waardoor ons model liederen kan begrijpen, genereren en bewerken, waardoor het geschikt is voor verschillende op liedjes gerelateerde generatietaken. Uitgebreide experimenten tonen de effectiviteit van SongCreator aan door het behalen van toonaangevende of concurrerende prestaties op alle acht taken. Opmerkelijk is dat het eerdere werken ver overtreft op het gebied van tekst-naar-lied en tekst-naar-zang. Bovendien is het in staat om onafhankelijk de akoestische omstandigheden van de zang en begeleiding in het gegenereerde lied te regelen via verschillende prompts, wat zijn potentiële toepasbaarheid aantoont. Onze voorbeelden zijn beschikbaar op https://songcreator.github.io/.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.