Transcrição Multitrack de Música com um Perceptor Tempo-Frequência

Multitrack Music Transcription with a Time-Frequency Perceiver

June 19, 2023

Autores: Wei-Tsung Lu, Ju-Chiang Wang, Yun-Ning Hung

cs.AI

Resumo

A transcrição de música multitrack visa transcrever uma entrada de áudio musical nas notas musicais de múltiplos instrumentos simultaneamente. É uma tarefa bastante desafiadora que normalmente requer um modelo mais complexo para alcançar resultados satisfatórios. Além disso, trabalhos anteriores focam principalmente na transcrição de instrumentos regulares, negligenciando, no entanto, os vocais, que geralmente são a fonte de sinal mais importante, se presentes em uma peça musical. Neste artigo, propomos uma nova arquitetura de rede neural profunda, Perceiver TF, para modelar a representação tempo-frequência da entrada de áudio para transcrição multitrack. O Perceiver TF amplia a arquitetura Perceiver ao introduzir uma expansão hierárquica com uma camada adicional de Transformer para modelar a coerência temporal. Consequentemente, nosso modelo herda os benefícios do Perceiver, que possui melhor escalabilidade, permitindo que ele lide bem com transcrições de muitos instrumentos em um único modelo. Nos experimentos, treinamos um Perceiver TF para modelar 12 classes de instrumentos, bem como vocais, de forma multitarefa. Nossos resultados demonstram que o sistema proposto supera os equivalentes state-of-the-art (por exemplo, MT3 e SpecTNT) em vários conjuntos de dados públicos.

English

Multitrack music transcription aims to transcribe a music audio input into the musical notes of multiple instruments simultaneously. It is a very challenging task that typically requires a more complex model to achieve satisfactory result. In addition, prior works mostly focus on transcriptions of regular instruments, however, neglecting vocals, which are usually the most important signal source if present in a piece of music. In this paper, we propose a novel deep neural network architecture, Perceiver TF, to model the time-frequency representation of audio input for multitrack transcription. Perceiver TF augments the Perceiver architecture by introducing a hierarchical expansion with an additional Transformer layer to model temporal coherence. Accordingly, our model inherits the benefits of Perceiver that posses better scalability, allowing it to well handle transcriptions of many instruments in a single model. In experiments, we train a Perceiver TF to model 12 instrument classes as well as vocal in a multi-task learning manner. Our result demonstrates that the proposed system outperforms the state-of-the-art counterparts (e.g., MT3 and SpecTNT) on various public datasets.