MuScriptor: Ein offenes Modell für die Multi-Instrument-Musiktranskription

Zusammenfassung

Bestehende Methoden zur automatischen Musiktranskription sind häufig auf Einzelinstrumentaufnahmen beschränkt oder versagen bei komplexen, realen Musikmischungen. Obwohl frühere Arbeiten synthetische Trainingsdaten nutzen, generalisieren die resultierenden Modelle schlecht, was zu weitgehend unbrauchbaren Transkriptionsergebnissen in realistischen Mehrinstrumenten-Umgebungen führt. In dieser Arbeit analysieren wir die Wirksamkeit synthetischer Daten für das Vortraining, kombiniert mit Feintuning anhand realer Musikaufnahmen und Nachtraining mittels bestärkendem Lernen. Darüber hinaus führen wir eine Konditionierung auf Instrumentenpräsenz ein, um Transkriptionen anzupassen. Schließlich veröffentlichen wir MuScriptor, ein Open-Weight-Modell zur Mehrinstrumenten-Musiktranskription, das auf realen Musikaufnahmen aus einer Vielzahl von Musikgenres funktioniert.

English

Existing methods for automatic music transcription are often limited to single-instrument recordings or fail on complex, real music mixes. Although previous work utilizes synthetic training data, the resulting models generalize poorly, leading to largely unusable transcription output in realistic, multi-instrument settings. In this work, we analyze the effectiveness of synthetic data for pre-training while combining it with fine-tuning on real music audio and post-training using reinforcement learning. We further introduce conditioning on instrument presence to customize transcriptions. Finally, we release MuScriptor, an open-weight multi-instrument music transcription model that works on real-world music recordings from across a diverse range of musical genres.