Geração de Áudio Mascarado usando um Único Transformer Não Autoregressivo

Masked Audio Generation using a Single Non-Autoregressive Transformer

January 9, 2024

Autores: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi

cs.AI

Resumo

Apresentamos o MAGNeT, um método de modelagem de sequências generativas mascaradas que opera diretamente sobre vários fluxos de tokens de áudio. Diferente de trabalhos anteriores, o MAGNeT é composto por um transformer de estágio único e não autorregressivo. Durante o treinamento, prevemos trechos de tokens mascarados obtidos de um agendador de mascaramento, enquanto, durante a inferência, construímos gradualmente a sequência de saída usando várias etapas de decodificação. Para aprimorar ainda mais a qualidade do áudio gerado, introduzimos um novo método de reavaliação no qual aproveitamos um modelo pré-treinado externo para reavaliar e classificar as previsões do MAGNeT, que serão então usadas em etapas posteriores de decodificação. Por fim, exploramos uma versão híbrida do MAGNeT, na qual fundimos modelos autorregressivos e não autorregressivos para gerar os primeiros segundos de maneira autorregressiva, enquanto o restante da sequência é decodificado em paralelo. Demonstramos a eficiência do MAGNeT para a tarefa de geração de texto-para-música e texto-para-áudio e realizamos uma avaliação empírica extensa, considerando tanto métricas objetivas quanto estudos com humanos. A abordagem proposta é comparável às baselines avaliadas, sendo significativamente mais rápida (7x mais rápida que a baseline autorregressiva). Por meio de estudos de ablação e análise, destacamos a importância de cada um dos componentes que compõem o MAGNeT, juntamente com a indicação das compensações entre modelagem autorregressiva e não autorregressiva, considerando latência, taxa de transferência e qualidade de geração. Amostras estão disponíveis em nossa página de demonstração https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.

English

We introduce MAGNeT, a masked generative sequence modeling method that operates directly over several streams of audio tokens. Unlike prior work, MAGNeT is comprised of a single-stage, non-autoregressive transformer. During training, we predict spans of masked tokens obtained from a masking scheduler, while during inference we gradually construct the output sequence using several decoding steps. To further enhance the quality of the generated audio, we introduce a novel rescoring method in which, we leverage an external pre-trained model to rescore and rank predictions from MAGNeT, which will be then used for later decoding steps. Lastly, we explore a hybrid version of MAGNeT, in which we fuse between autoregressive and non-autoregressive models to generate the first few seconds in an autoregressive manner while the rest of the sequence is being decoded in parallel. We demonstrate the efficiency of MAGNeT for the task of text-to-music and text-to-audio generation and conduct an extensive empirical evaluation, considering both objective metrics and human studies. The proposed approach is comparable to the evaluated baselines, while being significantly faster (x7 faster than the autoregressive baseline). Through ablation studies and analysis, we shed light on the importance of each of the components comprising MAGNeT, together with pointing to the trade-offs between autoregressive and non-autoregressive modeling, considering latency, throughput, and generation quality. Samples are available on our demo page https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.