Los Flujos Normalizadores son Modelos Generativos Capaces.

Normalizing Flows are Capable Generative Models

December 9, 2024

Autores: Shuangfei Zhai, Ruixiang Zhang, Preetum Nakkiran, David Berthelot, Jiatao Gu, Huangjie Zheng, Tianrong Chen, Miguel Angel Bautista, Navdeep Jaitly, Josh Susskind

cs.AI

Resumen

Los Flujos Normalizantes (NFs) son modelos basados en verosimilitud para entradas continuas. Han demostrado resultados prometedores tanto en la estimación de densidad como en tareas de modelado generativo, pero han recibido relativamente poca atención en los últimos años. En este trabajo, demostramos que los NFs son más potentes de lo que se creía anteriormente. Presentamos TarFlow: una arquitectura simple y escalable que permite modelos NF altamente eficientes. TarFlow puede ser considerado como una variante basada en Transformadores de Flujos Autoregresivos Enmascarados (MAFs): consiste en una pila de bloques autoregresivos de Transformadores en parches de imagen, alternando la dirección de autoregresión entre capas. TarFlow es fácil de entrenar de principio a fin y capaz de modelar y generar píxeles directamente. También proponemos tres técnicas clave para mejorar la calidad de las muestras: aumento de ruido gaussiano durante el entrenamiento, un procedimiento de desruido posterior al entrenamiento y un método efectivo de guía tanto para configuraciones condicionales por clase como incondicionales. Al combinar estos elementos, TarFlow establece nuevos resultados de vanguardia en la estimación de verosimilitud para imágenes, superando los métodos anteriores por un amplio margen, y genera muestras con calidad y diversidad comparables a los modelos de difusión, por primera vez con un modelo NF independiente. Ponemos nuestro código a disposición en https://github.com/apple/ml-tarflow.

English

Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present TarFlow: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at https://github.com/apple/ml-tarflow.