TokBench : Évaluer votre tokeniseur visuel avant la génération visuelle

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

Auteurs: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

Résumé

Dans ce travail, nous révélons les limites des tokenizers visuels et des VAEs (Variational Autoencoders) dans la préservation des caractéristiques fines, et proposons un benchmark pour évaluer la performance de reconstruction pour deux contenus visuels complexes : le texte et le visage. Les tokenizers visuels et les VAEs ont considérablement fait progresser la génération visuelle et la modélisation multimodale en fournissant des représentations d'images compressées ou quantifiées plus efficaces. Cependant, bien qu'ils aident les modèles de production à réduire les charges de calcul, la perte d'information due à la compression d'images limite fondamentalement la qualité maximale de la génération visuelle. Pour évaluer cette limite supérieure, nous nous concentrons sur l'évaluation des caractéristiques reconstruites du texte et du visage, car elles présentent généralement : 1) des échelles plus petites, 2) des textures denses et riches, 3) une tendance à s'effondrer, et 4) une sensibilité élevée à la vision humaine. Nous commençons par collecter et organiser un ensemble diversifié d'images claires de texte et de visages à partir de jeux de données existants. Contrairement aux approches utilisant des modèles VLM, nous employons des modèles établis de reconnaissance optique de caractères (OCR) et de reconnaissance faciale pour l'évaluation, garantissant la précision tout en maintenant un processus d'évaluation extrêmement léger <span style="font-weight: bold; color: rgb(214, 21, 21);">nécessitant seulement 2 Go de mémoire et 4 minutes</span> pour être complété. En utilisant notre benchmark, nous analysons la qualité de reconstruction du texte et du visage à différentes échelles pour divers tokenizers d'images et VAEs. Nos résultats montrent que les tokenizers visuels modernes peinent encore à préserver les caractéristiques fines, en particulier à des échelles plus petites. Nous étendons également ce cadre d'évaluation à la vidéo, en réalisant une analyse approfondie des tokenizers vidéo. De plus, nous démontrons que les métriques traditionnelles ne reflètent pas avec précision la performance de reconstruction pour les visages et le texte, tandis que les métriques que nous proposons servent de complément efficace.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.