InsightTok: Melhorando a Fidelidade de Texto e Rosto na Tokenização Discreta para Geração Autoregressiva de Imagens

Resumo

Textos e rostos estão entre os padrões mais perceptualmente salientes e praticamente importantes na geração visual, ainda assim permanecem desafiadores para geradores autorregressivos construídos sobre tokenização discreta. Um gargalo central é o tokenizador: a subamostragem agressiva e a quantização frequentemente descartam as estruturas de granulação fina necessárias para preservar glifos legíveis e características faciais distintivas. Atribuímos essa lacuna ao fato de que os objetivos padrão dos tokenizadores discretos estão fracamente alinhados com a legibilidade do texto e a fidelidade facial, uma vez que esses objetivos tipicamente otimizam a reconstrução genérica enquanto comprimem conteúdo diverso de maneira uniforme. Para abordar isso, propomos o InsightTok, uma estrutura de tokenização visual discreta simples, porém eficaz, que melhora a fidelidade de texto e rosto por meio de perdas perceptuais localizadas e conscientes do conteúdo. Com um codebook compacto de 16k e uma taxa de subamostragem de 16x, o InsightTok supera significativamente tokenizadores anteriores na reconstrução de texto e rosto sem comprometer a qualidade geral da reconstrução. Esses ganhos são consistentemente transferidos para a geração de imagens autorregressiva no InsightAR, produzindo imagens com textos mais nítidos e detalhes faciais mais fiéis. No geral, nossos resultados destacam o potencial da supervisão especializada no treinamento de tokenizadores para avançar a geração discreta de imagens.

English

Text and faces are among the most perceptually salient and practically important patterns in visual generation, yet they remain challenging for autoregressive generators built on discrete tokenization. A central bottleneck is the tokenizer: aggressive downsampling and quantization often discard the fine-grained structures needed to preserve readable glyphs and distinctive facial features. We attribute this gap to standard discrete-tokenizer objectives being weakly aligned with text legibility and facial fidelity, as these objectives typically optimize generic reconstruction while compressing diverse content uniformly. To address this, we propose InsightTok, a simple yet effective discrete visual tokenization framework that enhances text and face fidelity through localized, content-aware perceptual losses. With a compact 16k codebook and a 16x downsampling rate, InsightTok significantly outperforms prior tokenizers in text and face reconstruction without compromising general reconstruction quality. These gains consistently transfer to autoregressive image generation in InsightAR, producing images with clearer text and more faithful facial details. Overall, our results highlight the potential of specialized supervision in tokenizer training for advancing discrete image generation.