PianoKontext: Renderización de interpretación expresiva a partir de un contexto inexpresivo

Resumen

La representación interpretativa expresiva (EPR) busca generar interpretaciones realistas condicionadas a secuencias de notas. Sin embargo, los modelos de edición de audio por emparejamiento de flujo solo manipulan muestras musicales sincronizadas de la misma duración, lo que limita su comprensión del tiempo expresivo. Presentamos PianoKontext, un modelo de representación por emparejamiento de flujo para música clásica de piano que genera interpretaciones de duración variable en el espacio latente de un modelo Music2Latent preentrenado. Sintetizamos partituras MIDI en audio inexpresivo y empleamos Dynamic Time Warping (DTW) en el espacio latente para construir datos emparejados para el entrenamiento. Los embeddings alineados se concatenan en bloques DiT, lo que permite un aprendizaje simple y efectivo de las dependencias entre la partitura y las interpretaciones. Las muestras de audio están disponibles en nuestra página de demostración: https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.