PerceiverS: Un Perceiver Multiescala con Segmentación Efectiva para Generación de Música Simbólica Expresiva a Largo Plazo

PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation

November 13, 2024

Autores: Yungang Yi, Weihua Li, Matthew Kuo, Quan Bai

cs.AI

Resumen

La generación de música ha progresado significativamente, especialmente en el ámbito de la generación de audio. Sin embargo, generar música simbólica que sea a la vez de larga estructura y expresiva sigue siendo un desafío importante. En este artículo, proponemos PerceiverS (Segmentación y Escala), una arquitectura novedosa diseñada para abordar este problema aprovechando tanto la Segmentación Efectiva como los mecanismos de atención Multi-Escala. Nuestro enfoque mejora la generación de música simbólica al aprender simultáneamente dependencias estructurales a largo plazo y detalles expresivos a corto plazo. Al combinar la atención cruzada y la auto-atención en un entorno Multi-Escala, PerceiverS captura la estructura musical a larga distancia mientras preserva matices de interpretación. El modelo propuesto, evaluado en conjuntos de datos como Maestro, demuestra mejoras en la generación de música coherente y diversa con consistencia estructural y variación expresiva. Las demostraciones del proyecto y las muestras de música generada se pueden acceder a través del enlace: https://perceivers.github.io.

English

Music generation has progressed significantly, especially in the domain of audio generation. However, generating symbolic music that is both long-structured and expressive remains a significant challenge. In this paper, we propose PerceiverS (Segmentation and Scale), a novel architecture designed to address this issue by leveraging both Effective Segmentation and Multi-Scale attention mechanisms. Our approach enhances symbolic music generation by simultaneously learning long-term structural dependencies and short-term expressive details. By combining cross-attention and self-attention in a Multi-Scale setting, PerceiverS captures long-range musical structure while preserving performance nuances. The proposed model, evaluated on datasets like Maestro, demonstrates improvements in generating coherent and diverse music with both structural consistency and expressive variation. The project demos and the generated music samples can be accessed through the link: https://perceivers.github.io.