Генерация замаскированного аудио с использованием одного неавторегрессивного трансформера
Masked Audio Generation using a Single Non-Autoregressive Transformer
January 9, 2024
Авторы: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi
cs.AI
Аннотация
Мы представляем MAGNeT — метод маскированного генеративного моделирования последовательностей, который работает непосредственно с несколькими потоками аудиотокенов. В отличие от предыдущих работ, MAGNeT состоит из одноэтапного неавторегрессивного трансформера. Во время обучения мы предсказываем маскированные фрагменты токенов, полученные с помощью планировщика маскирования, а во время вывода постепенно строим выходную последовательность с использованием нескольких шагов декодирования. Для дальнейшего повышения качества генерируемого аудио мы вводим новый метод переоценки, в котором используем внешнюю предобученную модель для переоценки и ранжирования предсказаний MAGNeT, которые затем используются на последующих шагах декодирования. Наконец, мы исследуем гибридную версию MAGNeT, в которой объединяем авторегрессивные и неавторегрессивные модели для генерации первых нескольких секунд авторегрессивным способом, в то время как остальная часть последовательности декодируется параллельно. Мы демонстрируем эффективность MAGNeT для задач генерации текста в музыку и текста в аудио и проводим обширное эмпирическое исследование, учитывая как объективные метрики, так и исследования с участием людей. Предложенный подход сопоставим с оцениваемыми базовыми методами, при этом значительно быстрее (в 7 раз быстрее авторегрессивного базового метода). С помощью анализа и исследований мы раскрываем важность каждого из компонентов, составляющих MAGNeT, а также указываем на компромиссы между авторегрессивным и неавторегрессивным моделированием, учитывая задержку, пропускную способность и качество генерации. Примеры доступны на нашей демонстрационной странице: https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.
English
We introduce MAGNeT, a masked generative sequence modeling method that
operates directly over several streams of audio tokens. Unlike prior work,
MAGNeT is comprised of a single-stage, non-autoregressive transformer. During
training, we predict spans of masked tokens obtained from a masking scheduler,
while during inference we gradually construct the output sequence using several
decoding steps. To further enhance the quality of the generated audio, we
introduce a novel rescoring method in which, we leverage an external
pre-trained model to rescore and rank predictions from MAGNeT, which will be
then used for later decoding steps. Lastly, we explore a hybrid version of
MAGNeT, in which we fuse between autoregressive and non-autoregressive models
to generate the first few seconds in an autoregressive manner while the rest of
the sequence is being decoded in parallel. We demonstrate the efficiency of
MAGNeT for the task of text-to-music and text-to-audio generation and conduct
an extensive empirical evaluation, considering both objective metrics and human
studies. The proposed approach is comparable to the evaluated baselines, while
being significantly faster (x7 faster than the autoregressive baseline).
Through ablation studies and analysis, we shed light on the importance of each
of the components comprising MAGNeT, together with pointing to the trade-offs
between autoregressive and non-autoregressive modeling, considering latency,
throughput, and generation quality. Samples are available on our demo page
https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.