正規化フローは、生成モデルとして有能です。

Normalizing Flows are Capable Generative Models

December 9, 2024

著者: Shuangfei Zhai, Ruixiang Zhang, Preetum Nakkiran, David Berthelot, Jiatao Gu, Huangjie Zheng, Tianrong Chen, Miguel Angel Bautista, Navdeep Jaitly, Josh Susskind

cs.AI

要旨

正規化フロー（NFs）は、連続的な入力に対する尤度ベースのモデルです。これらは密度推定および生成モデリングの両方で有望な結果を示していますが、近年では比較的注目されていませんでした。本研究では、NFsが以前に考えられていたよりも強力であることを示します。我々はTarFlowを提案します：高性能なNFモデルを可能にするシンプルでスケーラブルなアーキテクチャです。TarFlowは、Masked Autoregressive Flows（MAFs）のTransformerベースの変種と考えることができます：画像パッチ上の自己回帰Transformerブロックのスタックであり、層間で自己回帰方向を交互に変更します。TarFlowはエンドツーエンドで容易にトレーニングでき、ピクセルを直接モデリングおよび生成することができます。また、トレーニング中のガウスノイズ増強、トレーニング後のノイズ除去手順、およびクラス条件付きおよび非条件付きの設定の両方に対する効果的なガイダンス手法を提案します。これらを組み合わせることで、TarFlowは画像の尤度推定において新たな最先端の結果を達成し、従来の最良手法を大きく上回るとともに、拡散モデルと同等の品質と多様性を持つサンプルを生成します。これは、単独のNFモデルで初めてのことです。我々は、コードをhttps://github.com/apple/ml-tarflow で公開しています。

English

Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present TarFlow: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at https://github.com/apple/ml-tarflow.