Tokenizzare l'immagine come un insieme

Tokenize Image as a Set

March 20, 2025

Autori: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Abstract

Questo articolo propone un paradigma fondamentalmente nuovo per la generazione di immagini attraverso la tokenizzazione basata su insiemi e la modellazione della distribuzione. A differenza dei metodi convenzionali che serializzano le immagini in codici latenti a posizione fissa con un rapporto di compressione uniforme, introduciamo una rappresentazione di token non ordinati per allocare dinamicamente la capacità di codifica in base alla complessità semantica regionale. Questo TokenSet migliora l'aggregazione del contesto globale e aumenta la robustezza contro le perturbazioni locali. Per affrontare la sfida critica della modellazione di insiemi discreti, abbiamo ideato un meccanismo di trasformazione duale che converte biiettivamente gli insiemi in sequenze di interi a lunghezza fissa con vincoli di somma. Inoltre, proponiamo il Fixed-Sum Discrete Diffusion--il primo framework in grado di gestire simultaneamente valori discreti, lunghezza fissa della sequenza e invarianza della somma--consentendo una modellazione efficace della distribuzione degli insiemi. Gli esperimenti dimostrano la superiorità del nostro metodo nella rappresentazione semantica e nella qualità della generazione. Le nostre innovazioni, che abbracciano nuove strategie di rappresentazione e modellazione, avanzano la generazione visiva oltre i tradizionali paradigmi di token sequenziali. Il nostro codice e i nostri modelli sono disponibili pubblicamente all'indirizzo https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.