**ResTok: Aprendizado de Resíduos Hierárquicos em Tokenizadores Visuais 1D para Geração Autoregressiva de Imagens**

ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation

January 7, 2026

Autores: Xu Zhang, Cheng Da, Huan Yang, Kun Gai, Ming Lu, Zhan Ma

cs.AI

Resumo

Os tokenizadores visuais 1D existentes para geração autoregressiva (AR) seguem amplamente os princípios de design da modelagem de linguagem, pois são construídos diretamente sobre transformers cujos priores se originam na linguagem, produzindo tokens latentes de hierarquia única e tratando dados visuais como fluxos sequenciais planos de tokens. No entanto, esta formulação semelhante à linguagem ignora propriedades fundamentais da visão, particularmente os designs de redes hierárquicas e residuais que há muito são essenciais para convergência e eficiência em modelos visuais. Para trazer a "visão" de volta à visão, propomos o Residual Tokenizer (ResTok), um tokenizador visual 1D que constrói resíduos hierárquicos tanto para tokens de imagem quanto para tokens latentes. As representações hierárquicas obtidas através de fusão progressiva permitem a fusão de características entre níveis em cada camada, aumentando substancialmente a capacidade representacional. Entretanto, os resíduos semânticos entre hierarquias previnem sobreposição de informações, produzindo distribuições latentes mais concentradas que são mais fáceis para modelagem AR. Consequentemente, emergem vinculações entre níveis sem nenhuma restrição explícita. Para acelerar o processo de geração, introduzimos ainda um gerador AR hierárquico que reduz substancialmente os passos de amostragem ao prever um nível inteiro de tokens latentes de uma vez, em vez de gerá-los estritamente token por token. Experimentos extensivos demonstram que restaurar priores residuais hierárquicos na tokenização visual melhora significativamente a geração AR de imagens, alcançando um gFID de 2.34 no ImageNet-256 com apenas 9 passos de amostragem. O código está disponível em https://github.com/Kwai-Kolors/ResTok.

English

Existing 1D visual tokenizers for autoregressive (AR) generation largely follow the design principles of language modeling, as they are built directly upon transformers whose priors originate in language, yielding single-hierarchy latent tokens and treating visual data as flat sequential token streams. However, this language-like formulation overlooks key properties of vision, particularly the hierarchical and residual network designs that have long been essential for convergence and efficiency in visual models. To bring "vision" back to vision, we propose the Residual Tokenizer (ResTok), a 1D visual tokenizer that builds hierarchical residuals for both image tokens and latent tokens. The hierarchical representations obtained through progressively merging enable cross-level feature fusion at each layer, substantially enhancing representational capacity. Meanwhile, the semantic residuals between hierarchies prevent information overlap, yielding more concentrated latent distributions that are easier for AR modeling. Cross-level bindings consequently emerge without any explicit constraints. To accelerate the generation process, we further introduce a hierarchical AR generator that substantially reduces sampling steps by predicting an entire level of latent tokens at once rather than generating them strictly token-by-token. Extensive experiments demonstrate that restoring hierarchical residual priors in visual tokenization significantly improves AR image generation, achieving a gFID of 2.34 on ImageNet-256 with only 9 sampling steps. Code is available at https://github.com/Kwai-Kolors/ResTok.