単一の非自己回帰型Transformerを用いたマスク音声生成

Masked Audio Generation using a Single Non-Autoregressive Transformer

January 9, 2024

著者: Alon Ziv, Itai Gat, Gael Le Lan, Tal Remez, Felix Kreuk, Alexandre Défossez, Jade Copet, Gabriel Synnaeve, Yossi Adi

cs.AI

要旨

MAGNeTを紹介します。これは、複数のオーディオトークンのストリームを直接操作するマスク生成型シーケンスモデリング手法です。従来の研究とは異なり、MAGNeTは単一ステージの非自己回帰型トランスフォーマーで構成されています。訓練時には、マスキングスケジューラから得られたマスクされたトークンの範囲を予測し、推論時には複数のデコードステップを使用して出力シーケンスを徐々に構築します。生成されたオーディオの品質をさらに向上させるために、外部の事前学習済みモデルを活用してMAGNeTの予測を再スコアリングし、ランク付けする新しい再スコアリング手法を導入します。これにより、後のデコードステップで使用される予測が決定されます。最後に、MAGNeTのハイブリッドバージョンを探求します。このバージョンでは、最初の数秒を自己回帰的に生成し、残りのシーケンスを並列にデコードするために、自己回帰モデルと非自己回帰モデルを融合させます。MAGNeTの効率性をテキストから音楽およびテキストからオーディオ生成のタスクで実証し、客観的指標と人間による評価の両方を考慮した広範な実証的評価を行います。提案手法は評価されたベースラインと同等でありながら、大幅に高速です（自己回帰ベースラインの7倍の速度）。アブレーション研究と分析を通じて、MAGNeTを構成する各コンポーネントの重要性を明らかにし、レイテンシ、スループット、生成品質を考慮した自己回帰モデリングと非自己回帰モデリングのトレードオフを指摘します。サンプルはデモページhttps://pages.cs.huji.ac.il/adiyoss-lab/MAGNeTでご覧いただけます。

English

We introduce MAGNeT, a masked generative sequence modeling method that operates directly over several streams of audio tokens. Unlike prior work, MAGNeT is comprised of a single-stage, non-autoregressive transformer. During training, we predict spans of masked tokens obtained from a masking scheduler, while during inference we gradually construct the output sequence using several decoding steps. To further enhance the quality of the generated audio, we introduce a novel rescoring method in which, we leverage an external pre-trained model to rescore and rank predictions from MAGNeT, which will be then used for later decoding steps. Lastly, we explore a hybrid version of MAGNeT, in which we fuse between autoregressive and non-autoregressive models to generate the first few seconds in an autoregressive manner while the rest of the sequence is being decoded in parallel. We demonstrate the efficiency of MAGNeT for the task of text-to-music and text-to-audio generation and conduct an extensive empirical evaluation, considering both objective metrics and human studies. The proposed approach is comparable to the evaluated baselines, while being significantly faster (x7 faster than the autoregressive baseline). Through ablation studies and analysis, we shed light on the importance of each of the components comprising MAGNeT, together with pointing to the trade-offs between autoregressive and non-autoregressive modeling, considering latency, throughput, and generation quality. Samples are available on our demo page https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.