ResTok: Het Leren van Hiërarchische Residuen in 1D Visuele Tokenizers voor Autoregressieve Beeldgeneratie

ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation

January 7, 2026

Auteurs: Xu Zhang, Cheng Da, Huan Yang, Kun Gai, Ming Lu, Zhan Ma

cs.AI

Samenvatting

Bestaande 1D-visualisatietokenizers voor autoregressieve (AR) generatie volgen grotendeels de ontwerp principes van taalmodelering, aangezien ze direct zijn gebouwd op transformatoren waarvan de prioria afkomstig zijn uit taal, wat resulteert in latentetokens met één hiërarchie en visuele gegevens behandelt als platte sequentiële tokenstromen. Deze taalachtige formulering negeert echter belangrijke eigenschappen van visie, met name de hiërarchische en residuele netwerkontwerpen die lange tijd essentieel zijn geweest voor convergentie en efficiëntie in visuele modellen. Om "visie" terug te brengen in visie, stellen we de Residual Tokenizer (ResTok) voor, een 1D-visualisatietokenizer die hiërarchische residuen opbouwt voor zowel beeldtokens als latentetokens. De hiërarchische representaties verkregen door progressief samenvoegen maken kruisniveau-fusie van kenmerken mogelijk in elke laag, wat de representatiecapaciteit aanzienlijk verbetert. Tegelijkertijd voorkomen de semantische residuen tussen hiërarchieën informatieoverlap, wat resulteert in meer geconcentreerde latente verdelingen die gemakkelijker zijn voor AR-modellering. Kruisniveau-verbindingen ontstaan hierdoor zonder expliciete beperkingen. Om het generatieproces te versnellen, introduceren we verder een hiërarchische AR-generator die de bemonsteringsstappen aanzienlijk reduceert door een volledig niveau van latentetokens in één keer te voorspellen in plaats van ze strikt token-voor-token te genereren. Uitgebreide experimenten tonen aan dat het herstellen van hiërarchische residuele prioria in visualisatietokenisatie AR-beeldgeneratie significant verbetert, met een gFID van 2.34 op ImageNet-256 met slechts 9 bemonsteringsstappen. Code is beschikbaar op https://github.com/Kwai-Kolors/ResTok.

English

Existing 1D visual tokenizers for autoregressive (AR) generation largely follow the design principles of language modeling, as they are built directly upon transformers whose priors originate in language, yielding single-hierarchy latent tokens and treating visual data as flat sequential token streams. However, this language-like formulation overlooks key properties of vision, particularly the hierarchical and residual network designs that have long been essential for convergence and efficiency in visual models. To bring "vision" back to vision, we propose the Residual Tokenizer (ResTok), a 1D visual tokenizer that builds hierarchical residuals for both image tokens and latent tokens. The hierarchical representations obtained through progressively merging enable cross-level feature fusion at each layer, substantially enhancing representational capacity. Meanwhile, the semantic residuals between hierarchies prevent information overlap, yielding more concentrated latent distributions that are easier for AR modeling. Cross-level bindings consequently emerge without any explicit constraints. To accelerate the generation process, we further introduce a hierarchical AR generator that substantially reduces sampling steps by predicting an entire level of latent tokens at once rather than generating them strictly token-by-token. Extensive experiments demonstrate that restoring hierarchical residual priors in visual tokenization significantly improves AR image generation, achieving a gFID of 2.34 on ImageNet-256 with only 9 sampling steps. Code is available at https://github.com/Kwai-Kolors/ResTok.