PianoKontext: Expressieve uitvoeringsweergave vanuit een emotieloze context

Samenvatting

Expressieve uitvoeringsweergave (EPR) heeft tot doel realistische uitvoeringen te genereren die worden beperkt door reeksen noten. Flow-matching-audiobewerkingsmodellen manipuleren echter alleen gesynchroniseerde muzieksamples van dezelfde duur, wat hun begrip van expressieve timing beperkt. We introduceren PianoKontext, een flow-matching-weergavemodel voor klassieke pianomuziek dat uitvoeringen van variabele lengte genereert in de latente ruimte van een voorgetraind Music2Latent-model. We zetten MIDI-partituren om in neutrale audio en passen Dynamic Time Warping (DTW) toe in de latente ruimte om gepaarde data voor training samen te stellen. De uitgelijnde embeddings worden samengevoegd in DiT-blokken, wat een eenvoudige en effectieve aanpak mogelijk maakt voor het leren van de afhankelijkheden tussen de partituur en uitvoeringen. Audiovoorbeelden zijn beschikbaar op onze demo-pagina: https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.