PianoKontext: Renderização de Performance Expressiva a partir de Contexto Inexpressivo

Resumo

A renderização expressiva de performance (EPR) tem como objetivo gerar performances realistas condicionadas a sequências de notas. No entanto, modelos de edição de áudio baseados em correspondência de fluxo manipulam apenas amostras musicais sincronizadas de mesma duração, limitando sua compreensão do tempo expressivo. Apresentamos o PianoKontext, um modelo de renderização por correspondência de fluxo para música clássica de piano que gera performances de duração variável no espaço latente de um modelo Music2Latent pré-treinado. Sintetizamos partituras MIDI em áudio inexpressivo e empregamos o Dynamic Time Warping (DTW) no espaço latente para construir dados pareados para treinamento. As incorporações alinhadas são concatenadas em blocos DiT, permitindo um aprendizado simples e eficaz das dependências entre a partitura e as performances. Amostras de áudio estão disponíveis em nossa página de demonstração: https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.