InsightTok: Verbesserung der Text- und Gesichtstreue bei der diskreten Tokenisierung für die autoregressive Bildgenerierung

Zusammenfassung

Text und Gesichter gehören zu den visuell auffälligsten und praktisch wichtigsten Mustern in der visuellen Generierung, bleiben jedoch für autoregressive Generatoren, die auf diskreter Tokenisierung basieren, weiterhin eine Herausforderung. Ein zentraler Engpass ist der Tokenisierer: Aggressive Herunterabtastung und Quantisierung verwerfen oft die feinkörnigen Strukturen, die erforderlich sind, um lesbare Schriftzeichen und markante Gesichtszüge zu erhalten. Wir führen diese Diskrepanz darauf zurück, dass die Ziele standardmäßiger diskreter Tokenisierer nur schwach mit der Lesbarkeit von Text und der Gesichtstreue ausgerichtet sind, da diese Ziele typischerweise eine allgemeine Rekonstruktion optimieren, während verschiedene Inhalte gleichmäßig komprimiert werden. Um dies zu adressieren, schlagen wir InsightTok vor, ein einfaches, aber effektives Framework für diskrete visuelle Tokenisierung, das die Text- und Gesichtstreue durch lokalisierte, inhaltsbewusste perzeptuelle Verluste verbessert. Mit einem kompakten 16k-Codebuch und einer 16-fachen Herunterabtastungsrate übertrifft InsightTok frühere Tokenisierer deutlich in der Text- und Gesichtsrekonstruktion, ohne die allgemeine Rekonstruktionsqualität zu beeinträchtigen. Diese Verbesserungen übertragen sich konsequent auf die autoregressive Bildgenerierung in InsightAR und erzeugen Bilder mit klarerem Text und treueren Gesichtsdetails. Insgesamt unterstreichen unsere Ergebnisse das Potenzial spezialisierter Überwachung beim Tokenisierertraining zur Weiterentwicklung der diskreten Bildgenerierung.

English

Text and faces are among the most perceptually salient and practically important patterns in visual generation, yet they remain challenging for autoregressive generators built on discrete tokenization. A central bottleneck is the tokenizer: aggressive downsampling and quantization often discard the fine-grained structures needed to preserve readable glyphs and distinctive facial features. We attribute this gap to standard discrete-tokenizer objectives being weakly aligned with text legibility and facial fidelity, as these objectives typically optimize generic reconstruction while compressing diverse content uniformly. To address this, we propose InsightTok, a simple yet effective discrete visual tokenization framework that enhances text and face fidelity through localized, content-aware perceptual losses. With a compact 16k codebook and a 16x downsampling rate, InsightTok significantly outperforms prior tokenizers in text and face reconstruction without compromising general reconstruction quality. These gains consistently transfer to autoregressive image generation in InsightAR, producing images with clearer text and more faithful facial details. Overall, our results highlight the potential of specialized supervision in tokenizer training for advancing discrete image generation.