Tokenizar la imagen como un conjunto

Tokenize Image as a Set

March 20, 2025

Autores: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Resumen

Este artículo propone un paradigma fundamentalmente nuevo para la generación de imágenes mediante la tokenización basada en conjuntos y el modelado de distribuciones. A diferencia de los métodos convencionales que serializan las imágenes en códigos latentes de posición fija con una relación de compresión uniforme, introducimos una representación de conjunto de tokens no ordenada para asignar dinámicamente la capacidad de codificación según la complejidad semántica regional. Este TokenSet mejora la agregación de contexto global y aumenta la robustez frente a perturbaciones locales. Para abordar el desafío crítico de modelar conjuntos discretos, diseñamos un mecanismo de transformación dual que convierte biyectivamente los conjuntos en secuencias de enteros de longitud fija con restricciones de suma. Además, proponemos Fixed-Sum Discrete Diffusion, el primer marco que maneja simultáneamente valores discretos, longitud de secuencia fija e invarianza de suma, permitiendo un modelado efectivo de la distribución de conjuntos. Los experimentos demuestran la superioridad de nuestro método en la representación consciente de la semántica y la calidad de generación. Nuestras innovaciones, que abarcan estrategias novedosas de representación y modelado, avanzan la generación visual más allá de los paradigmas tradicionales de tokens secuenciales. Nuestro código y modelos están disponibles públicamente en https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.