Geração Visual Autoregressiva Randomizada

Randomized Autoregressive Visual Generation

November 1, 2024

Autores: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumo

Este artigo apresenta a modelagem AutoRegressiva Randomizada (RAR) para geração visual, que estabelece um novo desempenho de ponta na tarefa de geração de imagens, mantendo total compatibilidade com os frameworks de modelagem de linguagem. O RAR proposto é simples: durante um processo de treinamento auto-regressivo padrão com um objetivo de previsão do próximo token, a sequência de entrada - tipicamente ordenada em forma de raster - é aleatoriamente permutada em diferentes ordens de fatorização com uma probabilidade r, onde r começa em 1 e decai linearmente para 0 ao longo do treinamento. Essa estratégia de treinamento de têmpera permite que o modelo aprenda a maximizar a probabilidade esperada sobre todas as ordens de fatorização e, assim, melhore efetivamente a capacidade do modelo de modelar contextos bidirecionais. Importante ressaltar que o RAR preserva a integridade do framework de modelagem auto-regressiva, garantindo total compatibilidade com a modelagem de linguagem, ao mesmo tempo em que melhora significativamente o desempenho na geração de imagens. No benchmark ImageNet-256, o RAR alcança uma pontuação FID de 1,48, superando não apenas os geradores de imagens auto-regressivos de ponta anteriores, mas também superando os principais métodos baseados em difusão e transformadores mascarados. O código e os modelos estarão disponíveis em https://github.com/bytedance/1d-tokenizer

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer