Seed-Music: Um Framework Unificado para Geração de Música de Alta Qualidade e Controlada

Seed-Music: A Unified Framework for High Quality and Controlled Music Generation

September 13, 2024

Autores: Ye Bai, Haonan Chen, Jitong Chen, Zhuo Chen, Yi Deng, Xiaohong Dong, Lamtharn Hantrakul, Weituo Hao, Qingqing Huang, Zhongyi Huang, Dongya Jia, Feihu La, Duc Le, Bochen Li, Chumin Li, Hui Li, Xingxing Li, Shouda Liu, Wei-Tsung Lu, Yiqing Lu, Andrew Shaw, Janne Spijkervet, Yakun Sun, Bo Wang, Ju-Chiang Wang, Yuping Wang, Yuxuan Wang, Ling Xu, Yifeng Yang, Chao Yao, Shuo Zhang, Yang Zhang, Yilin Zhang, Hang Zhao, Ziyi Zhao, Dejian Zhong, Shicen Zhou, Pei Zou

cs.AI

Resumo

Apresentamos o Seed-Music, um conjunto de sistemas de geração de música capazes de produzir música de alta qualidade com controle de estilo refinado. Nosso framework unificado aproveita tanto modelagem de linguagem auto-regressiva quanto abordagens de difusão para suportar dois fluxos de trabalho-chave na criação de música: geração de música controlada e edição pós-produção. Para a geração de música controlada, nosso sistema permite a geração de música vocal com controles de desempenho a partir de entradas multimodais, incluindo descrições de estilo, referências de áudio, partituras musicais e prompts de voz. Para edição pós-produção, oferece ferramentas interativas para editar letras e melodias vocais diretamente no áudio gerado. Encorajamos os leitores a ouvir exemplos de áudio de demonstração em https://team.doubao.com/seed-music.

English

We introduce Seed-Music, a suite of music generation systems capable of producing high-quality music with fine-grained style control. Our unified framework leverages both auto-regressive language modeling and diffusion approaches to support two key music creation workflows: controlled music generation and post-production editing. For controlled music generation, our system enables vocal music generation with performance controls from multi-modal inputs, including style descriptions, audio references, musical scores, and voice prompts. For post-production editing, it offers interactive tools for editing lyrics and vocal melodies directly in the generated audio. We encourage readers to listen to demo audio examples at https://team.doubao.com/seed-music .