PianoKontext: Expressive Darbietungswiedergabe aus ausdruckslosem Kontext

Zusammenfassung

Expressive Performance Rendering (EPR) zielt darauf ab, realistische Darbietungen zu erzeugen, die durch Notensequenzen vorgegeben sind. Allerdings manipulieren Flow-Matching-Audio-Bearbeitungsmodelle nur synchronisierte Musikbeispiele gleicher Dauer, was ihr Verständnis des expressiven Timings einschränkt. Wir stellen PianoKontext vor, ein Flow-Matching-Rendering-Modell für klassische Klaviermusik, das Darbietungen variabler Länge im latenten Raum eines vortrainierten Music2Latent-Modells generiert. Wir synthetisieren MIDI-Partituren in ausdrucksloses Audio (Deadpan Audio) und verwenden Dynamic Time Warping (DTW) im latenten Raum, um gepaarte Daten für das Training zu konstruieren. Die ausgerichteten Einbettungen werden in DiT-Blöcken verkettet, was ein einfaches und effektives Erlernen der Abhängigkeiten zwischen der Partitur und den Darbietungen ermöglicht. Audiobeispiele sind auf unserer Demoseite verfügbar: https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.