Infini : Mise à l'échelle de la modélisation auto-régressive par bits pour la synthèse d'images haute résolution

Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis

December 5, 2024

Auteurs: Jian Han, Jinlai Liu, Yi Jiang, Bin Yan, Yuqi Zhang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Résumé

Nous présentons Infinity, un modèle auto-régressif visuel par bits capable de générer des images haute résolution et photoréalistes en suivant des instructions linguistiques. Infinity redéfinit le modèle auto-régressif visuel dans le cadre d'une prédiction de jeton par bits avec un tokeniseur et un classifieur à vocabulaire infini, ainsi qu'un mécanisme d'auto-correction par bits, améliorant de manière remarquable la capacité de génération et les détails. En mettant théoriquement à l'échelle la taille du vocabulaire du tokeniseur à l'infini et en mettant simultanément à l'échelle la taille du transformateur, notre méthode libère significativement des capacités de mise à l'échelle puissantes par rapport au VAR classique. Infinity établit un nouveau record pour les modèles texte-image auto-régressifs, surpassant des modèles de diffusion de premier plan tels que SD3-Medium et SDXL. Notamment, Infinity dépasse SD3-Medium en améliorant le score du banc d'essai GenEval de 0,62 à 0,73 et le score du banc d'essai ImageReward de 0,87 à 0,96, atteignant un taux de réussite de 66%. Sans optimisation supplémentaire, Infinity génère une image de haute qualité de 1024x1024 en 0,8 seconde, le rendant 2,6 fois plus rapide que SD3-Medium et l'établissant comme le modèle texte-image le plus rapide. Les modèles et les codes seront publiés pour promouvoir une exploration plus poussée d'Infinity pour la génération visuelle et la modélisation de tokeniseur unifiée.

English

We present Infinity, a Bitwise Visual AutoRegressive Modeling capable of generating high-resolution, photorealistic images following language instruction. Infinity redefines visual autoregressive model under a bitwise token prediction framework with an infinite-vocabulary tokenizer & classifier and bitwise self-correction mechanism, remarkably improving the generation capacity and details. By theoretically scaling the tokenizer vocabulary size to infinity and concurrently scaling the transformer size, our method significantly unleashes powerful scaling capabilities compared to vanilla VAR. Infinity sets a new record for autoregressive text-to-image models, outperforming top-tier diffusion models like SD3-Medium and SDXL. Notably, Infinity surpasses SD3-Medium by improving the GenEval benchmark score from 0.62 to 0.73 and the ImageReward benchmark score from 0.87 to 0.96, achieving a win rate of 66%. Without extra optimization, Infinity generates a high-quality 1024x1024 image in 0.8 seconds, making it 2.6x faster than SD3-Medium and establishing it as the fastest text-to-image model. Models and codes will be released to promote further exploration of Infinity for visual generation and unified tokenizer modeling.