Tokenizar Imagem como um Conjunto

Tokenize Image as a Set

March 20, 2025

Autores: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Resumo

Este artigo propõe um paradigma fundamentalmente novo para geração de imagens por meio de tokenização baseada em conjuntos e modelagem de distribuição. Diferente dos métodos convencionais que serializam imagens em códigos latentes de posição fixa com uma taxa de compressão uniforme, introduzimos uma representação de conjunto de tokens não ordenada para alocar dinamicamente a capacidade de codificação com base na complexidade semântica regional. Esse TokenSet aprimora a agregação de contexto global e melhora a robustez contra perturbações locais. Para abordar o desafio crítico de modelar conjuntos discretos, elaboramos um mecanismo de transformação dual que converte conjuntos de forma bijetiva em sequências de inteiros de comprimento fixo com restrições de soma. Além disso, propomos o Fixed-Sum Discrete Diffusion--o primeiro framework a lidar simultaneamente com valores discretos, comprimento fixo de sequência e invariância de soma--possibilitando uma modelagem eficaz da distribuição de conjuntos. Experimentos demonstram a superioridade do nosso método em representação semântica e qualidade de geração. Nossas inovações, abrangendo novas estratégias de representação e modelagem, avançam a geração visual além dos paradigmas tradicionais de tokens sequenciais. Nosso código e modelos estão publicamente disponíveis em https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.