MuScriptor: Um Modelo Aberto para Transcrição Musical Multi-Instrumento

Resumo

Os métodos existentes para transcrição automática de música frequentemente se limitam a gravações de um único instrumento ou falham em mixagens musicais reais complexas. Embora trabalhos anteriores utilizem dados sintéticos de treinamento, os modelos resultantes generalizam mal, gerando saídas de transcrição amplamente inutilizáveis em cenários realistas com múltiplos instrumentos. Neste trabalho, analisamos a eficácia dos dados sintéticos para o pré-treinamento, combinando-os com o ajuste fino em áudio musical real e o pós-treinamento por meio de aprendizado por reforço. Ademais, introduzimos o condicionamento na presença de instrumentos para personalizar as transcrições. Por fim, disponibilizamos o MuScriptor, um modelo de transcrição musical multi-instrumento com pesos abertos que funciona em gravações musicais do mundo real, abrangendo uma ampla diversidade de gêneros musicais.

English

Existing methods for automatic music transcription are often limited to single-instrument recordings or fail on complex, real music mixes. Although previous work utilizes synthetic training data, the resulting models generalize poorly, leading to largely unusable transcription output in realistic, multi-instrument settings. In this work, we analyze the effectiveness of synthetic data for pre-training while combining it with fine-tuning on real music audio and post-training using reinforcement learning. We further introduce conditioning on instrument presence to customize transcriptions. Finally, we release MuScriptor, an open-weight multi-instrument music transcription model that works on real-world music recordings from across a diverse range of musical genres.