TokBench: Valutare il proprio Tokenizer Visivo prima della Generazione Visiva

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

Autori: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

Abstract

In questo lavoro, riveliamo i limiti dei tokenizzatori visivi e dei VAE nel preservare caratteristiche finemente dettagliate e proponiamo un benchmark per valutare le prestazioni di ricostruzione per due contenuti visivi particolarmente impegnativi: testo e volti. I tokenizzatori visivi e i VAE hanno significativamente avanzato la generazione visiva e la modellazione multimodale fornendo rappresentazioni di immagini compresse o quantizzate più efficienti. Tuttavia, sebbene aiutino i modelli di produzione a ridurre i carichi computazionali, la perdita di informazioni derivante dalla compressione delle immagini limita fondamentalmente il limite superiore della qualità della generazione visiva. Per valutare questo limite superiore, ci concentriamo sulla valutazione delle caratteristiche ricostruite di testo e volti poiché tipicamente: 1) esistono su scale più piccole, 2) contengono texture dense e ricche, 3) sono inclini al collasso e 4) sono altamente sensibili alla visione umana. Inizialmente raccogliamo e curiamo un insieme diversificato di immagini chiare di testo e volti da dataset esistenti. A differenza degli approcci che utilizzano modelli VLM, impieghiamo modelli consolidati di OCR e riconoscimento facciale per la valutazione, garantendo accuratezza mantenendo un processo di valutazione eccezionalmente leggero <span style="font-weight: bold; color: rgb(214, 21, 21);">che richiede solo 2GB di memoria e 4 minuti</span> per completarsi. Utilizzando il nostro benchmark, analizziamo la qualità della ricostruzione di testo e volti su varie scale per diversi tokenizzatori di immagini e VAE. I nostri risultati mostrano che i moderni tokenizzatori visivi continuano a lottare per preservare caratteristiche finemente dettagliate, specialmente su scale più piccole. Estendiamo ulteriormente questo framework di valutazione ai video, conducendo un'analisi completa dei tokenizzatori video. Inoltre, dimostriamo che le metriche tradizionali non riescono a riflettere accuratamente le prestazioni di ricostruzione per volti e testo, mentre le nostre metriche proposte servono come un complemento efficace.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.