Oneindigheid: Schalen van Bitwijze AutoRegressieve Modellering voor Synthese van Beelden met Hoge Resolutie

Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis

December 5, 2024

Auteurs: Jian Han, Jinlai Liu, Yi Jiang, Bin Yan, Yuqi Zhang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Samenvatting

Wij presenteren Infinity, een Bitwise Visueel AutoRegressief Model dat in staat is om hoogwaardige, fotorealistische afbeeldingen te genereren op basis van taalinstructies. Infinity herdefinieert het visuele autoregressieve model binnen een raamwerk van bitgewijze tokenvoorspelling met een oneindige-vocabulaire tokenizer en classifier, en een bitgewijs zelfcorrectiemechanisme, waardoor de generatiecapaciteit en details aanzienlijk verbeteren. Door theoretisch de grootte van de tokenizer-vocabulaire naar oneindig te schalen en tegelijkertijd de transformer-grootte te schalen, ontketent onze methode aanzienlijke schaalvermogens in vergelijking met standaard VAR-modellen. Infinity vestigt een nieuw record voor autoregressieve tekst-naar-afbeelding modellen, waarbij het topklasse diffusiemodellen zoals SD3-Medium en SDXL overtreft. Opmerkelijk genoeg overtreft Infinity SD3-Medium door de GenEval benchmark score te verbeteren van 0.62 naar 0.73 en de ImageReward benchmark score van 0.87 naar 0.96, met een winratio van 66%. Zonder extra optimalisatie genereert Infinity een hoogwaardige 1024x1024 afbeelding in 0.8 seconden, waardoor het 2.6x sneller is dan SD3-Medium en het de snelste tekst-naar-afbeelding model maakt. Modellen en codes zullen worden vrijgegeven om verdere verkenning van Infinity voor visuele generatie en uniforme tokenizermodellering te bevorderen.

English

We present Infinity, a Bitwise Visual AutoRegressive Modeling capable of generating high-resolution, photorealistic images following language instruction. Infinity redefines visual autoregressive model under a bitwise token prediction framework with an infinite-vocabulary tokenizer & classifier and bitwise self-correction mechanism, remarkably improving the generation capacity and details. By theoretically scaling the tokenizer vocabulary size to infinity and concurrently scaling the transformer size, our method significantly unleashes powerful scaling capabilities compared to vanilla VAR. Infinity sets a new record for autoregressive text-to-image models, outperforming top-tier diffusion models like SD3-Medium and SDXL. Notably, Infinity surpasses SD3-Medium by improving the GenEval benchmark score from 0.62 to 0.73 and the ImageReward benchmark score from 0.87 to 0.96, achieving a win rate of 66%. Without extra optimization, Infinity generates a high-quality 1024x1024 image in 0.8 seconds, making it 2.6x faster than SD3-Medium and establishing it as the fastest text-to-image model. Models and codes will be released to promote further exploration of Infinity for visual generation and unified tokenizer modeling.