画像をトークン集合として表現する

Tokenize Image as a Set

March 20, 2025

著者: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

要旨

本論文は、集合ベースのトークン化と分布モデリングを通じた画像生成の根本的に新しいパラダイムを提案する。従来の手法が画像を均一な圧縮率で固定位置の潜在コードにシリアライズするのに対し、我々は領域ごとの意味的複雑度に基づいて符号化容量を動的に割り当てる非順序トークン集合表現を導入する。このTokenSetは、グローバルな文脈の集約を強化し、局所的な摂動に対するロバスト性を向上させる。離散集合のモデリングという重要な課題に対処するため、集合を総和制約付きの固定長整数列に双射的に変換する二重変換メカニズムを考案した。さらに、離散値、固定列長、総和不変性を同時に扱う初のフレームワークであるFixed-Sum Discrete Diffusionを提案し、効果的な集合分布モデリングを可能にした。実験により、本手法の意味認識表現と生成品質の優位性が実証された。新たな表現とモデリング戦略にわたる我々の革新は、従来の逐次トークンパラダイムを超えた視覚生成を推進するものである。コードとモデルはhttps://github.com/Gengzigang/TokenSetで公開されている。

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.