InsightTok: Mejorando la fidelidad de texto y rostros en la tokenización discreta para generación autorregresiva de imágenes

Resumen

El texto y los rostros se encuentran entre los patrones más perceptualmente destacados y prácticamente importantes en la generación visual, pero siguen siendo un desafío para los generadores autorregresivos basados en tokenización discreta. Un cuello de botella central es el tokenizador: el submuestreo agresivo y la cuantización a menudo descartan las estructuras de grano fino necesarias para preservar glifos legibles y rasgos faciales distintivos. Atribuimos esta brecha a que los objetivos estándar de los tokenizadores discretos están débilmente alineados con la legibilidad del texto y la fidelidad facial, ya que estos objetivos suelen optimizar la reconstrucción genérica mientras comprimen contenido diverso de manera uniforme. Para abordar esto, proponemos InsightTok, un marco de tokenización visual discreta simple pero efectivo que mejora la fidelidad del texto y los rostros mediante pérdidas perceptuales localizadas y conscientes del contenido. Con un libro de códigos compacto de 16k y una tasa de submuestreo de 16x, InsightTok supera significativamente a los tokenizadores anteriores en la reconstrucción de texto y rostros sin comprometer la calidad general de la reconstrucción. Estas mejoras se transfieren de manera consistente a la generación de imágenes autorregresiva en InsightAR, produciendo imágenes con texto más claro y detalles faciales más fieles. En general, nuestros resultados resaltan el potencial de la supervisión especializada en el entrenamiento de tokenizadores para avanzar en la generación discreta de imágenes.

English

Text and faces are among the most perceptually salient and practically important patterns in visual generation, yet they remain challenging for autoregressive generators built on discrete tokenization. A central bottleneck is the tokenizer: aggressive downsampling and quantization often discard the fine-grained structures needed to preserve readable glyphs and distinctive facial features. We attribute this gap to standard discrete-tokenizer objectives being weakly aligned with text legibility and facial fidelity, as these objectives typically optimize generic reconstruction while compressing diverse content uniformly. To address this, we propose InsightTok, a simple yet effective discrete visual tokenization framework that enhances text and face fidelity through localized, content-aware perceptual losses. With a compact 16k codebook and a 16x downsampling rate, InsightTok significantly outperforms prior tokenizers in text and face reconstruction without compromising general reconstruction quality. These gains consistently transfer to autoregressive image generation in InsightAR, producing images with clearer text and more faithful facial details. Overall, our results highlight the potential of specialized supervision in tokenizer training for advancing discrete image generation.