Токенизировать изображение как множество

Tokenize Image as a Set

March 20, 2025

Авторы: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Аннотация

В данной статье предлагается принципиально новая парадигма генерации изображений через токенизацию на основе множеств и моделирование распределений. В отличие от традиционных методов, которые сериализуют изображения в фиксированные позиционные латентные коды с равномерным коэффициентом сжатия, мы вводим представление в виде неупорядоченного множества токенов, что позволяет динамически распределять емкость кодирования в зависимости от семантической сложности регионов. Этот подход, названный TokenSet, улучшает агрегацию глобального контекста и повышает устойчивость к локальным искажениям. Для решения ключевой задачи моделирования дискретных множеств мы разработали механизм двойного преобразования, который биективно преобразует множества в фиксированные последовательности целых чисел с ограничениями на сумму. Кроме того, мы предлагаем Fixed-Sum Discrete Diffusion — первый фреймворк, который одновременно работает с дискретными значениями, фиксированной длиной последовательности и инвариантностью суммы, что позволяет эффективно моделировать распределение множеств. Эксперименты демонстрируют превосходство нашего метода в семантически осознанном представлении и качестве генерации. Наши инновации, охватывающие новые стратегии представления и моделирования, продвигают визуальную генерацию за рамки традиционных последовательных токен-парадигм. Наш код и модели доступны по адресу https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.