TokBench: Bewertung Ihres visuellen Tokenizers vor der visuellen Generierung

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

papers.authors: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

papers.abstract

In dieser Arbeit zeigen wir die Grenzen von visuellen Tokenizern und VAEs bei der Bewahrung feinkörniger Merkmale auf und schlagen einen Benchmark zur Bewertung der Rekonstruktionsleistung für zwei anspruchsvolle visuelle Inhalte vor: Text und Gesichter. Visuelle Tokenizer und VAEs haben die visuelle Generierung und multimodale Modellierung durch effizientere komprimierte oder quantisierte Bilddarstellungen erheblich vorangetrieben. Während sie jedoch Produktionsmodelle dabei unterstützen, den Rechenaufwand zu reduzieren, begrenzt der Informationsverlust durch die Bildkomprimierung grundlegend die Obergrenze der Qualität der visuellen Generierung. Um diese Obergrenze zu bewerten, konzentrieren wir uns auf die Bewertung rekonstruierter Text- und Gesichtsmerkmale, da diese typischerweise: 1) in kleineren Maßstäben existieren, 2) dichte und reichhaltige Texturen enthalten, 3) anfällig für Kollaps sind und 4) hochsensibel für das menschliche Sehen sind. Zunächst sammeln und kuratieren wir eine vielfältige Auswahl klarer Text- und Gesichtsbilder aus bestehenden Datensätzen. Im Gegensatz zu Ansätzen, die VLM-Modelle verwenden, setzen wir etablierte OCR- und Gesichtserkennungsmodelle zur Bewertung ein, um Genauigkeit zu gewährleisten und gleichzeitig einen außerordentlich ressourcenschonenden Bewertungsprozess zu erhalten, der <span style="font-weight: bold; color: rgb(214, 21, 21);">nur 2 GB Speicher und 4 Minuten</span> benötigt. Mit unserem Benchmark analysieren wir die Qualität der Text- und Gesichtsrekonstruktion über verschiedene Maßstäbe hinweg für unterschiedliche Bildtokenizer und VAEs. Unsere Ergebnisse zeigen, dass moderne visuelle Tokenizer nach wie vor Schwierigkeiten haben, feinkörnige Merkmale zu bewahren, insbesondere in kleineren Maßstäben. Wir erweitern diesen Bewertungsrahmen zudem auf Videos und führen eine umfassende Analyse von Video-Tokenizern durch. Darüber hinaus demonstrieren wir, dass traditionelle Metriken die Rekonstruktionsleistung für Gesichter und Texte nicht genau widerspiegeln, während unsere vorgeschlagenen Metriken eine effektive Ergänzung darstellen.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.