FARMER : Transformeur AutoRégressif de Flux sur les Pixels

papers.abstract

La modélisation directe de la vraisemblance explicite de la distribution des données brutes est un sujet clé dans le domaine de l'apprentissage automatique, qui a permis les succès à grande échelle des modèles de langage grâce à la modélisation autorégressive. Cependant, la modélisation AR continue sur des données de pixels visuels souffre de séquences extrêmement longues et d'espaces à haute dimension. Dans cet article, nous présentons FARMER, un nouveau cadre génératif de bout en bout qui unifie les flux de normalisation (NF) et les modèles autorégressifs (AR) pour l'estimation tractable de la vraisemblance et la synthèse d'images de haute qualité directement à partir des pixels bruts. FARMER utilise un flux autorégressif inversible pour transformer les images en séquences latentes, dont la distribution est modélisée implicitement par un modèle autorégressif. Pour résoudre la redondance et la complexité de la modélisation au niveau des pixels, nous proposons un schéma de réduction de dimension auto-supervisé qui partitionne les canaux latents NF en groupes informatifs et redondants, permettant une modélisation AR plus efficace et efficiente. De plus, nous concevons un schéma de distillation en une étape pour accélérer significativement la vitesse d'inférence et introduisons un algorithme de guidage sans classifieur basé sur le rééchantillonnage pour améliorer la qualité de génération d'images. Des expériences approfondies démontrent que FARMER atteint des performances compétitives par rapport aux modèles génératifs existants basés sur les pixels, tout en fournissant des vraisemblances exactes et un entraînement scalable.

English

Directly modeling the explicit likelihood of the raw data distribution is key topic in the machine learning area, which achieves the scaling successes in Large Language Models by autoregressive modeling. However, continuous AR modeling over visual pixel data suffer from extremely long sequences and high-dimensional spaces. In this paper, we present FARMER, a novel end-to-end generative framework that unifies Normalizing Flows (NF) and Autoregressive (AR) models for tractable likelihood estimation and high-quality image synthesis directly from raw pixels. FARMER employs an invertible autoregressive flow to transform images into latent sequences, whose distribution is modeled implicitly by an autoregressive model. To address the redundancy and complexity in pixel-level modeling, we propose a self-supervised dimension reduction scheme that partitions NF latent channels into informative and redundant groups, enabling more effective and efficient AR modeling. Furthermore, we design a one-step distillation scheme to significantly accelerate inference speed and introduce a resampling-based classifier-free guidance algorithm to boost image generation quality. Extensive experiments demonstrate that FARMER achieves competitive performance compared to existing pixel-based generative models while providing exact likelihoods and scalable training.

FARMER : Transformeur AutoRégressif de Flux sur les Pixels

FARMER: Flow AutoRegressive Transformer over Pixels

papers.abstract

Support