Infinito: Dimensionamento do Modelo AutoRegressivo Bitwise para Síntese de Imagens de Alta Resolução

Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis

December 5, 2024

Autores: Jian Han, Jinlai Liu, Yi Jiang, Bin Yan, Yuqi Zhang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Resumo

Apresentamos o Infinity, um Modelo AutoRegressivo Visual Bitwise capaz de gerar imagens de alta resolução e fotorrealistas seguindo instruções de linguagem. O Infinity redefine o modelo autoregressivo visual sob um framework de previsão de token bitwise com um tokenizador e classificador de vocabulário infinito e mecanismo de autocorreção bitwise, melhorando significativamente a capacidade de geração e detalhes. Ao escalar teoricamente o tamanho do vocabulário do tokenizador para o infinito e escalando simultaneamente o tamanho do transformer, nosso método libera significativamente poderosas capacidades de escala em comparação com o VAR convencional. O Infinity estabelece um novo recorde para modelos autoregressivos de texto para imagem, superando modelos de difusão de primeira linha como SD3-Medium e SDXL. Notavelmente, o Infinity supera o SD3-Medium ao melhorar a pontuação de benchmark GenEval de 0,62 para 0,73 e a pontuação de benchmark ImageReward de 0,87 para 0,96, alcançando uma taxa de vitória de 66%. Sem otimizações adicionais, o Infinity gera uma imagem de 1024x1024 de alta qualidade em 0,8 segundos, sendo 2,6 vezes mais rápido que o SD3-Medium e estabelecendo-se como o modelo texto para imagem mais rápido. Os modelos e códigos serão disponibilizados para promover uma maior exploração do Infinity para geração visual e modelagem de tokenizador unificado.

English

We present Infinity, a Bitwise Visual AutoRegressive Modeling capable of generating high-resolution, photorealistic images following language instruction. Infinity redefines visual autoregressive model under a bitwise token prediction framework with an infinite-vocabulary tokenizer & classifier and bitwise self-correction mechanism, remarkably improving the generation capacity and details. By theoretically scaling the tokenizer vocabulary size to infinity and concurrently scaling the transformer size, our method significantly unleashes powerful scaling capabilities compared to vanilla VAR. Infinity sets a new record for autoregressive text-to-image models, outperforming top-tier diffusion models like SD3-Medium and SDXL. Notably, Infinity surpasses SD3-Medium by improving the GenEval benchmark score from 0.62 to 0.73 and the ImageReward benchmark score from 0.87 to 0.96, achieving a win rate of 66%. Without extra optimization, Infinity generates a high-quality 1024x1024 image in 0.8 seconds, making it 2.6x faster than SD3-Medium and establishing it as the fastest text-to-image model. Models and codes will be released to promote further exploration of Infinity for visual generation and unified tokenizer modeling.