PianoKontext: Рендеринг выразительного исполнения из бесстрастного контекста

Аннотация

Экспрессивный рендеринг исполнения (EPR) направлен на создание реалистичных исполнений, ограниченных последовательностями нот. Однако модели редактирования аудио на основе флоу-матчинга манипулируют только синхронизированными музыкальными образцами одинаковой длительности, что ограничивает их понимание выразительного тайминга. Мы представляем PianoKontext — модель рендеринга на основе флоу-матчинга для классической фортепианной музыки, которая генерирует исполнения переменной длины в латентном пространстве предварительно обученной модели Music2Latent. Мы синтезируем MIDI-партитуры в бесстрастное аудио и применяем динамическую трансформацию временной шкалы (DTW) в латентном пространстве для построения парных данных для обучения. Выровненные эмбеддинги конкатенируются в DiT-блоках, что позволяет просто и эффективно изучать зависимости между партитурой и исполнениями. Аудиообразцы доступны на странице демонстрации: https://realfolkcode.github.io/pianokontext_demo/.

English

Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.