FARMER: Flow-Autoregressiver Transformer über Pixel

FARMER: Flow AutoRegressive Transformer over Pixels

October 27, 2025

papers.authors: Guangting Zheng, Qinyu Zhao, Tao Yang, Fei Xiao, Zhijie Lin, Jie Wu, Jiajun Deng, Yanyong Zhang, Rui Zhu

cs.AI

papers.abstract

Die direkte Modellierung der expliziten Likelihood der Rohdatenverteilung ist ein zentrales Thema im Bereich des maschinellen Lernens, das durch autoregressive Modellierung die Skalierungserfolge von Large Language Models ermöglicht. Kontinuierliche autoregressive Modellierung visueller Pixeldaten leidet jedoch unter extrem langen Sequenzen und hochdimensionalen Räumen. In diesem Artikel stellen wir FARMER vor, ein neuartiges end-to-end-Generativframework, das Normalizing Flows (NF) und autoregressive (AR) Modelle für berechenbare Likelihood-Schätzung und hochwertige Bildsynthese direkt aus Rohpixeln vereint. FARMER verwendet einen invertierbaren autoregressiven Flow, um Bilder in latente Sequenzen zu transformieren, deren Verteilung implizit durch ein autoregressives Modell modelliert wird. Um Redundanzen und Komplexität bei der Pixelmodellierung zu adressieren, schlagen wir ein selbstüberwachtes Dimensionsreduktionsverfahren vor, das NF-latente Kanäle in informative und redundante Gruppen aufteilt, was eine effektivere und effizientere AR-Modellierung ermöglicht. Darüber hinaus entwerfen wir ein Ein-Schritt-Distillationsverfahren zur signifikanten Beschleunigung der Inferenzgeschwindigkeit und führen einen resampling-basierten Classifier-Free-Guiding-Algorithmus ein, um die Bildgenerierungsqualität zu steigern. Umfangreiche Experimente zeigen, dass FARMER eine wettbewerbsfähige Leistung im Vergleich zu bestehenden pixelbasierten Generativmodellen erzielt, während es exakte Likelihoods und skalierbares Training bietet.

English

Directly modeling the explicit likelihood of the raw data distribution is key topic in the machine learning area, which achieves the scaling successes in Large Language Models by autoregressive modeling. However, continuous AR modeling over visual pixel data suffer from extremely long sequences and high-dimensional spaces. In this paper, we present FARMER, a novel end-to-end generative framework that unifies Normalizing Flows (NF) and Autoregressive (AR) models for tractable likelihood estimation and high-quality image synthesis directly from raw pixels. FARMER employs an invertible autoregressive flow to transform images into latent sequences, whose distribution is modeled implicitly by an autoregressive model. To address the redundancy and complexity in pixel-level modeling, we propose a self-supervised dimension reduction scheme that partitions NF latent channels into informative and redundant groups, enabling more effective and efficient AR modeling. Furthermore, we design a one-step distillation scheme to significantly accelerate inference speed and introduce a resampling-based classifier-free guidance algorithm to boost image generation quality. Extensive experiments demonstrate that FARMER achieves competitive performance compared to existing pixel-based generative models while providing exact likelihoods and scalable training.