SongCreator: Textbasierte universelle Songgenerierung

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

Autoren: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

Zusammenfassung

Musik ist ein integraler Bestandteil der menschlichen Kultur, der menschliche Intelligenz und Kreativität verkörpert, von denen Lieder einen wesentlichen Teil ausmachen. Während verschiedene Aspekte der Liedgenerierung in früheren Arbeiten erkundet wurden, wie z.B. Gesangsstimme, vokale Komposition und instrumentale Anordnung usw., bleibt die Generierung von Liedern mit sowohl Gesang als auch Begleitung anhand von Texten eine bedeutende Herausforderung, die die Anwendung von Musikgenerierungsmodellen in der realen Welt behindert. Vor diesem Hintergrund schlagen wir SongCreator vor, ein Liedgenerierungssystem, das entwickelt wurde, um diese Herausforderung anzugehen. Das Modell umfasst zwei neuartige Designs: ein sorgfältig entworfenes Dual-Sequenz-Sprachmodell (DSLM), um die Informationen von Gesang und Begleitung für die Liedgenerierung zu erfassen, und eine zusätzliche Aufmerksamkeitsmaskenstrategie für DSLM, die unserem Modell ermöglicht, Lieder zu verstehen, zu generieren und zu bearbeiten, was es für verschiedene mit Liedern verbundene Generierungsaufgaben geeignet macht. Umfangreiche Experimente zeigen die Wirksamkeit von SongCreator, indem sie Spitzenleistungen oder wettbewerbsfähige Leistungen in allen acht Aufgaben erzielen. Bemerkenswert ist, dass es frühere Arbeiten bei der Umwandlung von Texten in Lieder und Gesangsstimmen bei weitem übertrifft. Darüber hinaus ist es in der Lage, die akustischen Bedingungen von Gesang und Begleitung im generierten Lied unabhängig voneinander durch verschiedene Eingabeaufforderungen zu steuern, was seine potenzielle Anwendbarkeit zeigt. Unsere Beispiele sind unter https://songcreator.github.io/ verfügbar.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.