InsightTok: Улучшение точности текста и лиц в дискретной токенизации для авторегрессивной генерации изображений

Аннотация

Текст и лица являются одними из наиболее перцептивно заметных и практически значимых паттернов в визуальной генерации, однако они остаются сложными для авторегрессионных генераторов, построенных на дискретной токенизации. Ключевым узким местом является токенизатор: агрессивное понижение дискретизации и квантование часто отбрасывают мелкозернистые структуры, необходимые для сохранения читаемых глифов и характерных черт лица. Мы объясняем этот пробел тем, что стандартные цели дискретных токенизаторов слабо согласованы с читаемостью текста и точностью воспроизведения лица, поскольку такие цели обычно оптимизируют общую реконструкцию, равномерно сжимая разнообразный контент. Для решения этой проблемы мы предлагаем InsightTok — простую, но эффективную платформу дискретной визуальной токенизации, которая улучшает точность воспроизведения текста и лица с помощью локализованных перцептивных потерь, учитывающих содержание. Используя компактную кодовую книгу размером 16k и коэффициент понижения дискретизации 16x, InsightTok значительно превосходит предыдущие токенизаторы в реконструкции текста и лица без ущерба для общего качества реконструкции. Эти преимущества последовательно переносятся в авторегрессионную генерацию изображений в InsightAR, создавая изображения с более четким текстом и более точными деталями лица. В целом, наши результаты подчеркивают потенциал специализированного контроля при обучении токенизаторов для продвижения дискретной генерации изображений.

English

Text and faces are among the most perceptually salient and practically important patterns in visual generation, yet they remain challenging for autoregressive generators built on discrete tokenization. A central bottleneck is the tokenizer: aggressive downsampling and quantization often discard the fine-grained structures needed to preserve readable glyphs and distinctive facial features. We attribute this gap to standard discrete-tokenizer objectives being weakly aligned with text legibility and facial fidelity, as these objectives typically optimize generic reconstruction while compressing diverse content uniformly. To address this, we propose InsightTok, a simple yet effective discrete visual tokenization framework that enhances text and face fidelity through localized, content-aware perceptual losses. With a compact 16k codebook and a 16x downsampling rate, InsightTok significantly outperforms prior tokenizers in text and face reconstruction without compromising general reconstruction quality. These gains consistently transfer to autoregressive image generation in InsightAR, producing images with clearer text and more faithful facial details. Overall, our results highlight the potential of specialized supervision in tokenizer training for advancing discrete image generation.