Generazione Audio Mascherata utilizzando un Singolo Trasformatore Non Autoregressivo
Masked Audio Generation using a Single Non-Autoregressive Transformer
January 9, 2024
Autori: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi
cs.AI
Abstract
Presentiamo MAGNeT, un metodo di modellazione sequenziale generativa mascherata che opera direttamente su più flussi di token audio. A differenza dei lavori precedenti, MAGNeT è composto da un trasformatore a singolo stadio e non autoregressivo. Durante l'addestramento, prevediamo intervalli di token mascherati ottenuti da un pianificatore di mascheramento, mentre durante l'inferenza costruiamo gradualmente la sequenza di output utilizzando diversi passaggi di decodifica. Per migliorare ulteriormente la qualità dell'audio generato, introduciamo un nuovo metodo di ricalibrazione in cui sfruttiamo un modello pre-addestrato esterno per ricalibrare e classificare le previsioni di MAGNeT, che verranno poi utilizzate per i successivi passaggi di decodifica. Infine, esploriamo una versione ibrida di MAGNeT, in cui fondiamo modelli autoregressivi e non autoregressivi per generare i primi secondi in modo autoregressivo mentre il resto della sequenza viene decodificato in parallelo. Dimostriamo l'efficienza di MAGNeT per il compito di generazione da testo a musica e da testo a audio e conduciamo una valutazione empirica approfondita, considerando sia metriche oggettive che studi umani. L'approccio proposto è paragonabile ai baseline valutati, pur essendo significativamente più veloce (x7 più veloce rispetto al baseline autoregressivo). Attraverso studi di ablazione e analisi, evidenziamo l'importanza di ciascuno dei componenti che costituiscono MAGNeT, insieme ai compromessi tra modellazione autoregressiva e non autoregressiva, considerando latenza, throughput e qualità della generazione. I campioni sono disponibili sulla nostra pagina demo https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.
English
We introduce MAGNeT, a masked generative sequence modeling method that
operates directly over several streams of audio tokens. Unlike prior work,
MAGNeT is comprised of a single-stage, non-autoregressive transformer. During
training, we predict spans of masked tokens obtained from a masking scheduler,
while during inference we gradually construct the output sequence using several
decoding steps. To further enhance the quality of the generated audio, we
introduce a novel rescoring method in which, we leverage an external
pre-trained model to rescore and rank predictions from MAGNeT, which will be
then used for later decoding steps. Lastly, we explore a hybrid version of
MAGNeT, in which we fuse between autoregressive and non-autoregressive models
to generate the first few seconds in an autoregressive manner while the rest of
the sequence is being decoded in parallel. We demonstrate the efficiency of
MAGNeT for the task of text-to-music and text-to-audio generation and conduct
an extensive empirical evaluation, considering both objective metrics and human
studies. The proposed approach is comparable to the evaluated baselines, while
being significantly faster (x7 faster than the autoregressive baseline).
Through ablation studies and analysis, we shed light on the importance of each
of the components comprising MAGNeT, together with pointing to the trade-offs
between autoregressive and non-autoregressive modeling, considering latency,
throughput, and generation quality. Samples are available on our demo page
https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.