SongCreator: Generación Universal de Canciones basada en Letras

SongCreator: Lyrics-based Universal Song Generation

September 9, 2024

Autores: Shun Lei, Yixuan Zhou, Boshi Tang, Max W. Y. Lam, Feng Liu, Hangyu Liu, Jingcheng Wu, Shiyin Kang, Zhiyong Wu, Helen Meng

cs.AI

Resumen

La música es una parte integral de la cultura humana, encarnando la inteligencia y creatividad humanas, de las cuales las canciones componen una parte esencial. Aunque varios aspectos de la generación de canciones han sido explorados por trabajos anteriores, como la voz cantada, la composición vocal y el arreglo instrumental, generar canciones con tanto voz como acompañamiento dados los letras sigue siendo un desafío significativo, obstaculizando la aplicación de modelos de generación musical en el mundo real. En este sentido, proponemos SongCreator, un sistema de generación de canciones diseñado para abordar este desafío. El modelo presenta dos diseños novedosos: un modelo de lenguaje de doble secuencia (DSLM) meticulosamente diseñado para capturar la información de la voz y el acompañamiento para la generación de canciones, y una estrategia adicional de máscara de atención para DSLM, que permite a nuestro modelo comprender, generar y editar canciones, haciéndolo adecuado para diversas tareas de generación relacionadas con canciones. Experimentos extensos demuestran la efectividad de SongCreator al lograr un rendimiento de vanguardia o competitivo en las ocho tareas. Destacadamente, supera ampliamente los trabajos anteriores en letras-a-canción y letras-a-voz. Además, es capaz de controlar de forma independiente las condiciones acústicas de la voz y el acompañamiento en la canción generada a través de diferentes indicaciones, mostrando su aplicabilidad potencial. Nuestras muestras están disponibles en https://songcreator.github.io/.

English

Music is an integral part of human culture, embodying human intelligence and creativity, of which songs compose an essential part. While various aspects of song generation have been explored by previous works, such as singing voice, vocal composition and instrumental arrangement, etc., generating songs with both vocals and accompaniment given lyrics remains a significant challenge, hindering the application of music generation models in the real world. In this light, we propose SongCreator, a song-generation system designed to tackle this challenge. The model features two novel designs: a meticulously designed dual-sequence language model (DSLM) to capture the information of vocals and accompaniment for song generation, and an additional attention mask strategy for DSLM, which allows our model to understand, generate and edit songs, making it suitable for various song-related generation tasks. Extensive experiments demonstrate the effectiveness of SongCreator by achieving state-of-the-art or competitive performances on all eight tasks. Notably, it surpasses previous works by a large margin in lyrics-to-song and lyrics-to-vocals. Additionally, it is able to independently control the acoustic conditions of the vocals and accompaniment in the generated song through different prompts, exhibiting its potential applicability. Our samples are available at https://songcreator.github.io/.