PianoKontext : Rendu d'interprétation expressive à partir d'un contexte neutre

Résumé

L'interprétation expressive par rendu (EPR) vise à générer des performances réalistes contraintes par des séquences de notes. Cependant, les modèles d'édition audio par appariement de flux ne manipulent que des échantillons musicaux synchronisés de même durée, limitant ainsi leur compréhension du timing expressif. Nous présentons PianoKontext, un modèle de rendu par appariement de flux pour la musique classique pour piano, qui génère des performances de longueur variable dans l'espace latent d'un modèle Music2Latent pré-entraîné. Nous synthétisons des partitions MIDI en audio neutre et utilisons le Dynamic Time Warping (DTW) dans l'espace latent pour construire des données appariées destinées à l'entraînement. Les embeddings alignés sont concaténés dans des blocs DiT, permettant un apprentissage simple et efficace des dépendances entre la partition et les performances. Des échantillons audio sont disponibles sur notre page de démonstration : https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.