Generación de Audio Enmascarado utilizando un Único Transformer No Autoregresivo
Masked Audio Generation using a Single Non-Autoregressive Transformer
January 9, 2024
Autores: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi
cs.AI
Resumen
Presentamos MAGNeT, un método de modelado de secuencias generativas enmascaradas que opera directamente sobre múltiples flujos de tokens de audio. A diferencia de trabajos anteriores, MAGNeT está compuesto por un transformador no autoregresivo de una sola etapa. Durante el entrenamiento, predecimos segmentos de tokens enmascarados obtenidos de un programador de enmascaramiento, mientras que durante la inferencia construimos gradualmente la secuencia de salida utilizando varios pasos de decodificación. Para mejorar aún más la calidad del audio generado, introducimos un novedoso método de revaloración en el que aprovechamos un modelo preentrenado externo para revalorar y clasificar las predicciones de MAGNeT, las cuales se utilizarán en pasos de decodificación posteriores. Por último, exploramos una versión híbrida de MAGNeT, en la que fusionamos modelos autoregresivos y no autoregresivos para generar los primeros segundos de manera autoregresiva, mientras que el resto de la secuencia se decodifica en paralelo. Demostramos la eficiencia de MAGNeT para la tarea de generación de texto a música y texto a audio, y llevamos a cabo una evaluación empírica exhaustiva, considerando tanto métricas objetivas como estudios con humanos. El enfoque propuesto es comparable a las líneas base evaluadas, siendo significativamente más rápido (x7 más rápido que la línea base autoregresiva). A través de estudios de ablación y análisis, destacamos la importancia de cada uno de los componentes que conforman MAGNeT, junto con señalar las compensaciones entre el modelado autoregresivo y no autoregresivo, considerando la latencia, el rendimiento y la calidad de la generación. Las muestras están disponibles en nuestra página de demostración https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.
English
We introduce MAGNeT, a masked generative sequence modeling method that
operates directly over several streams of audio tokens. Unlike prior work,
MAGNeT is comprised of a single-stage, non-autoregressive transformer. During
training, we predict spans of masked tokens obtained from a masking scheduler,
while during inference we gradually construct the output sequence using several
decoding steps. To further enhance the quality of the generated audio, we
introduce a novel rescoring method in which, we leverage an external
pre-trained model to rescore and rank predictions from MAGNeT, which will be
then used for later decoding steps. Lastly, we explore a hybrid version of
MAGNeT, in which we fuse between autoregressive and non-autoregressive models
to generate the first few seconds in an autoregressive manner while the rest of
the sequence is being decoded in parallel. We demonstrate the efficiency of
MAGNeT for the task of text-to-music and text-to-audio generation and conduct
an extensive empirical evaluation, considering both objective metrics and human
studies. The proposed approach is comparable to the evaluated baselines, while
being significantly faster (x7 faster than the autoregressive baseline).
Through ablation studies and analysis, we shed light on the importance of each
of the components comprising MAGNeT, together with pointing to the trade-offs
between autoregressive and non-autoregressive modeling, considering latency,
throughput, and generation quality. Samples are available on our demo page
https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.