FARMER: Transformer de Fluxo AutoRegressivo sobre Pixels

FARMER: Flow AutoRegressive Transformer over Pixels

October 27, 2025

Autores: Guangting Zheng, Qinyu Zhao, Tao Yang, Fei Xiao, Zhijie Lin, Jie Wu, Jiajun Deng, Yanyong Zhang, Rui Zhu

cs.AI

Resumo

A modelagem direta da verossimilhança explícita da distribuição de dados brutos é um tópico fundamental na área de aprendizagem de máquina, que alcançou os sucessos de escalabilidade em Modelos de Linguagem de Grande Porte por meio da modelagem autoregressiva. No entanto, a modelagem AR contínua sobre dados de pixels visuais sofre com sequências extremamente longas e espaços de alta dimensionalidade. Neste artigo, apresentamos o FARMER, uma nova estrutura generativa de ponta a ponta que unifica Fluxos de Normalização (NF) e modelos Autoregressivos (AR) para estimação de verossimilhança tratável e síntese de imagens de alta qualidade diretamente a partir de pixels brutos. O FARMER emprega um fluxo autoregressivo invertível para transformar imagens em sequências latentes, cuja distribuição é modelada implicitamente por um modelo autoregressivo. Para abordar a redundância e complexidade na modelagem em nível de pixel, propomos um esquema de redução de dimensionalidade auto supervisionado que particiona os canais latentes do NF em grupos informativos e redundantes, permitindo uma modelagem AR mais eficaz e eficiente. Além disso, projetamos um esquema de destilação em uma etapa para acelerar significativamente a velocidade de inferência e introduzimos um algoritmo de orientação livre de classificador baseado em reamostragem para melhorar a qualidade da geração de imagens. Experimentos extensivos demonstram que o FARMER alcança um desempenho competitivo em comparação com modelos generativos baseados em pixel existentes, enquanto fornece verossimilhanças exatas e treinamento escalável.

English

Directly modeling the explicit likelihood of the raw data distribution is key topic in the machine learning area, which achieves the scaling successes in Large Language Models by autoregressive modeling. However, continuous AR modeling over visual pixel data suffer from extremely long sequences and high-dimensional spaces. In this paper, we present FARMER, a novel end-to-end generative framework that unifies Normalizing Flows (NF) and Autoregressive (AR) models for tractable likelihood estimation and high-quality image synthesis directly from raw pixels. FARMER employs an invertible autoregressive flow to transform images into latent sequences, whose distribution is modeled implicitly by an autoregressive model. To address the redundancy and complexity in pixel-level modeling, we propose a self-supervised dimension reduction scheme that partitions NF latent channels into informative and redundant groups, enabling more effective and efficient AR modeling. Furthermore, we design a one-step distillation scheme to significantly accelerate inference speed and introduce a resampling-based classifier-free guidance algorithm to boost image generation quality. Extensive experiments demonstrate that FARMER achieves competitive performance compared to existing pixel-based generative models while providing exact likelihoods and scalable training.