Generación Visual Autoregresiva Aleatorizada

Randomized Autoregressive Visual Generation

November 1, 2024

Autores: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumen

Este documento presenta el modelado AutoRegressive Aleatorizado (RAR) para generación visual, el cual establece un nuevo rendimiento de vanguardia en la tarea de generación de imágenes al mismo tiempo que mantiene una completa compatibilidad con los marcos de modelado de lenguaje. El RAR propuesto es simple: durante un proceso de entrenamiento autoregresivo estándar con un objetivo de predicción del siguiente token, la secuencia de entrada, típicamente ordenada en forma de ráster, se permuta aleatoriamente en diferentes órdenes de factorización con una probabilidad r, donde r comienza en 1 y decae linealmente a 0 a lo largo del entrenamiento. Esta estrategia de entrenamiento de recocido permite que el modelo aprenda a maximizar la probabilidad esperada sobre todos los órdenes de factorización y, por lo tanto, mejore efectivamente la capacidad del modelo para modelar contextos bidireccionales. Es importante destacar que el RAR preserva la integridad del marco de modelado autoregresivo, asegurando una completa compatibilidad con el modelado de lenguaje al mismo tiempo que mejora significativamente el rendimiento en la generación de imágenes. En el banco de pruebas ImageNet-256, RAR logra una puntuación FID de 1.48, superando no solo a los generadores de imágenes autoregresivos de vanguardia anteriores, sino también a los métodos líderes basados en difusión y transformadores enmascarados. El código y los modelos estarán disponibles en https://github.com/bytedance/1d-tokenizer

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer