Génération audio masquée à l'aide d'un seul transformeur non autorégressif
Masked Audio Generation using a Single Non-Autoregressive Transformer
January 9, 2024
Auteurs: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi
cs.AI
Résumé
Nous présentons MAGNeT, une méthode de modélisation séquentielle générative masquée qui opère directement sur plusieurs flux de tokens audio. Contrairement aux travaux antérieurs, MAGNeT est composé d'un transformeur non-autorégressif en une seule étape. Pendant l'entraînement, nous prédisons des segments de tokens masqués obtenus à partir d'un planificateur de masquage, tandis que lors de l'inférence, nous construisons progressivement la séquence de sortie en utilisant plusieurs étapes de décodage. Pour améliorer davantage la qualité de l'audio généré, nous introduisons une nouvelle méthode de réévaluation dans laquelle nous exploitons un modèle pré-entraîné externe pour réévaluer et classer les prédictions de MAGNeT, qui seront ensuite utilisées pour les étapes de décodage ultérieures. Enfin, nous explorons une version hybride de MAGNeT, dans laquelle nous fusionnons des modèles autorégressifs et non-autorégressifs pour générer les premières secondes de manière autorégressive tandis que le reste de la séquence est décodé en parallèle. Nous démontrons l'efficacité de MAGNeT pour les tâches de génération de texte-à-musique et de texte-à-audio et menons une évaluation empirique approfondie, en considérant à la fois des métriques objectives et des études humaines. L'approche proposée est comparable aux bases de référence évaluées, tout en étant significativement plus rapide (x7 plus rapide que la base de référence autorégressive). Grâce à des études d'ablation et à des analyses, nous mettons en lumière l'importance de chacun des composants de MAGNeT, tout en soulignant les compromis entre la modélisation autorégressive et non-autorégressive, en considérant la latence, le débit et la qualité de génération. Des échantillons sont disponibles sur notre page de démonstration https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.
English
We introduce MAGNeT, a masked generative sequence modeling method that
operates directly over several streams of audio tokens. Unlike prior work,
MAGNeT is comprised of a single-stage, non-autoregressive transformer. During
training, we predict spans of masked tokens obtained from a masking scheduler,
while during inference we gradually construct the output sequence using several
decoding steps. To further enhance the quality of the generated audio, we
introduce a novel rescoring method in which, we leverage an external
pre-trained model to rescore and rank predictions from MAGNeT, which will be
then used for later decoding steps. Lastly, we explore a hybrid version of
MAGNeT, in which we fuse between autoregressive and non-autoregressive models
to generate the first few seconds in an autoregressive manner while the rest of
the sequence is being decoded in parallel. We demonstrate the efficiency of
MAGNeT for the task of text-to-music and text-to-audio generation and conduct
an extensive empirical evaluation, considering both objective metrics and human
studies. The proposed approach is comparable to the evaluated baselines, while
being significantly faster (x7 faster than the autoregressive baseline).
Through ablation studies and analysis, we shed light on the importance of each
of the components comprising MAGNeT, together with pointing to the trade-offs
between autoregressive and non-autoregressive modeling, considering latency,
throughput, and generation quality. Samples are available on our demo page
https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.