MuScriptor: Een Open Model voor Multi-Instrument Muziektranscriptie

Samenvatting

Bestaande methoden voor automatische muziektranscriptie zijn vaak beperkt tot opnames van één instrument of falen bij complexe, realistische muziekmixen. Hoewel eerder werk gebruikmaakt van synthetische trainingsdata, generaliseren de resulterende modellen slecht, wat leidt tot grotendeels onbruikbare transcriptieresultaten in realistische, multi-instrumentele omgevingen. In dit werk analyseren we de effectiviteit van synthetische data voor pre-training, terwijl we dit combineren met fine-tuning op echte muziekaudio en post-training met behulp van reinforcement learning. We introduceren verder conditionering op instrumentaanwezigheid om transcripties aan te passen. Tot slot brengen we MuScriptor uit, een open-weight multi-instrument muziektranscriptiemodel dat werkt op echte muziekopnames uit een breed scala aan muziekgenres.

English

Existing methods for automatic music transcription are often limited to single-instrument recordings or fail on complex, real music mixes. Although previous work utilizes synthetic training data, the resulting models generalize poorly, leading to largely unusable transcription output in realistic, multi-instrument settings. In this work, we analyze the effectiveness of synthetic data for pre-training while combining it with fine-tuning on real music audio and post-training using reinforcement learning. We further introduce conditioning on instrument presence to customize transcriptions. Finally, we release MuScriptor, an open-weight multi-instrument music transcription model that works on real-world music recordings from across a diverse range of musical genres.