PerceiverS: Многоуровневый воспринимающий сегмент с эффективной сегментацией для генерации долгосрочной выразительной символической музыки.

PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation

November 13, 2024

Авторы: Yungang Yi, Weihua Li, Matthew Kuo, Quan Bai

cs.AI

Аннотация

Генерация музыки значительно продвинулась, особенно в области генерации звука. Однако создание символьной музыки, которая одновременно имеет длинную структуру и выразительность, остается значительным вызовом. В данной статье мы предлагаем PerceiverS (Segmentation and Scale), новую архитектуру, разработанную для решения этой проблемы за счет использования эффективных механизмов сегментации и многомасштабного внимания. Наш подход улучшает генерацию символьной музыки путем одновременного изучения долгосрочных структурных зависимостей и краткосрочных выразительных деталей. Сочетая кросс-внимание и самовнимание в многомасштабной среде, PerceiverS улавливает структуру музыки на длинные расстояния, сохраняя нюансы исполнения. Предложенная модель, оцененная на наборах данных, таких как Maestro, демонстрирует улучшения в генерации согласованной и разнообразной музыки с одновременным сохранением структурной последовательности и выразительного разнообразия. Демонстрации проекта и сгенерированные образцы музыки можно посмотреть по ссылке: https://perceivers.github.io.

English

Music generation has progressed significantly, especially in the domain of audio generation. However, generating symbolic music that is both long-structured and expressive remains a significant challenge. In this paper, we propose PerceiverS (Segmentation and Scale), a novel architecture designed to address this issue by leveraging both Effective Segmentation and Multi-Scale attention mechanisms. Our approach enhances symbolic music generation by simultaneously learning long-term structural dependencies and short-term expressive details. By combining cross-attention and self-attention in a Multi-Scale setting, PerceiverS captures long-range musical structure while preserving performance nuances. The proposed model, evaluated on datasets like Maestro, demonstrates improvements in generating coherent and diverse music with both structural consistency and expressive variation. The project demos and the generated music samples can be accessed through the link: https://perceivers.github.io.