Tokeniser l'image comme un ensemble

Tokenize Image as a Set

March 20, 2025

Auteurs: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Résumé

Cet article propose un paradigme fondamentalement nouveau pour la génération d'images à travers la tokenisation basée sur des ensembles et la modélisation de distributions. Contrairement aux méthodes conventionnelles qui sérialisent les images en codes latents à position fixe avec un taux de compression uniforme, nous introduisons une représentation par ensemble de tokens non ordonnés pour allouer dynamiquement la capacité de codage en fonction de la complexité sémantique régionale. Ce TokenSet améliore l'agrégation du contexte global et renforce la robustesse face aux perturbations locales. Pour relever le défi crucial de la modélisation des ensembles discrets, nous concevons un mécanisme de double transformation qui convertit bijectivement les ensembles en séquences d'entiers de longueur fixe avec des contraintes de sommation. De plus, nous proposons la Diffusion Discrète à Somme Fixe—le premier cadre capable de gérer simultanément des valeurs discrètes, une longueur de séquence fixe et l'invariance de sommation—permettant une modélisation efficace des distributions d'ensembles. Les expériences démontrent la supériorité de notre méthode en termes de représentation sémantique et de qualité de génération. Nos innovations, englobant des stratégies de représentation et de modélisation novatrices, font progresser la génération visuelle au-delà des paradigmes traditionnels de tokens séquentiels. Notre code et nos modèles sont disponibles publiquement à l'adresse https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.