FARMER: Потоковый авторегрессионный трансформер над пикселями

FARMER: Flow AutoRegressive Transformer over Pixels

October 27, 2025

Авторы: Guangting Zheng, Qinyu Zhao, Tao Yang, Fei Xiao, Zhijie Lin, Jie Wu, Jiajun Deng, Yanyong Zhang, Rui Zhu

cs.AI

Аннотация

Прямое моделирование явного правдоподобия распределения исходных данных является ключевой темой в области машинного обучения, что обеспечило масштабируемые успехи больших языковых моделей благодаря авторегрессионному моделированию. Однако непрерывное АР-моделирование визуальных пиксельных данных страдает от чрезвычайно длинных последовательностей и высокоразмерных пространств. В данной статье мы представляем FARMER — новую end-to-end генеративную архитектуру, объединяющую нормализующие потоки (NF) и авторегрессионные (АР) модели для вычисления разрешимого правдоподобия и синтеза высококачественных изображений непосредственно из исходных пикселей. FARMER использует инвертируемый авторегрессионный поток для преобразования изображений в латентные последовательности, распределение которых моделируется неявно с помощью авторегрессионной модели. Для устранения избыточности и сложности пиксельного моделирования мы предлагаем метод самообучающейся редукции размерности, который разделяет латентные каналы NF на информативные и избыточные группы, обеспечивая более эффективное и экономичное АР-моделирование. Кроме того, мы разрабатываем одношаговую схему дистилляции для значительного ускорения вывода и вводим алгоритм классификатор-фри управления на основе перевыборки для повышения качества генерации изображений. Многочисленные эксперименты демонстрируют, что FARMER достигает конкурентоспособных результатов по сравнению с существующими пиксельными генеративными моделями, обеспечивая точные значения правдоподобия и масштабируемое обучение.

English

Directly modeling the explicit likelihood of the raw data distribution is key topic in the machine learning area, which achieves the scaling successes in Large Language Models by autoregressive modeling. However, continuous AR modeling over visual pixel data suffer from extremely long sequences and high-dimensional spaces. In this paper, we present FARMER, a novel end-to-end generative framework that unifies Normalizing Flows (NF) and Autoregressive (AR) models for tractable likelihood estimation and high-quality image synthesis directly from raw pixels. FARMER employs an invertible autoregressive flow to transform images into latent sequences, whose distribution is modeled implicitly by an autoregressive model. To address the redundancy and complexity in pixel-level modeling, we propose a self-supervised dimension reduction scheme that partitions NF latent channels into informative and redundant groups, enabling more effective and efficient AR modeling. Furthermore, we design a one-step distillation scheme to significantly accelerate inference speed and introduce a resampling-based classifier-free guidance algorithm to boost image generation quality. Extensive experiments demonstrate that FARMER achieves competitive performance compared to existing pixel-based generative models while providing exact likelihoods and scalable training.