TokBench: Evaluando tu Tokenizador Visual antes de la Generación Visual

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

Autores: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

Resumen

En este trabajo, revelamos las limitaciones de los tokenizadores visuales y los VAEs (Variational Autoencoders) para preservar características de grano fino, y proponemos un punto de referencia para evaluar el rendimiento de reconstrucción en dos contenidos visuales desafiantes: texto y rostros. Los tokenizadores visuales y los VAEs han avanzado significativamente en la generación visual y el modelado multimodal al proporcionar representaciones de imágenes más eficientes, ya sea comprimidas o cuantificadas. Sin embargo, aunque ayudan a los modelos de producción a reducir la carga computacional, la pérdida de información derivada de la compresión de imágenes limita fundamentalmente el límite superior de la calidad en la generación visual. Para evaluar este límite superior, nos enfocamos en evaluar las características reconstruidas de texto y rostros, ya que estas suelen: 1) existir a escalas más pequeñas, 2) contener texturas densas y ricas, 3) ser propensas a colapsar, y 4) ser altamente sensibles para la visión humana. Primero, recopilamos y seleccionamos un conjunto diverso de imágenes claras de texto y rostros de conjuntos de datos existentes. A diferencia de los enfoques que utilizan modelos VLM (Vision-Language Models), empleamos modelos establecidos de OCR (Reconocimiento Óptico de Caracteres) y reconocimiento facial para la evaluación, asegurando precisión mientras mantenemos un proceso de evaluación excepcionalmente ligero <span style="font-weight: bold; color: rgb(214, 21, 21);">que requiere solo 2GB de memoria y 4 minutos</span> para completarse. Utilizando nuestro punto de referencia, analizamos la calidad de la reconstrucción de texto y rostros en varias escalas para diferentes tokenizadores de imágenes y VAEs. Nuestros resultados muestran que los tokenizadores visuales modernos aún tienen dificultades para preservar características de grano fino, especialmente en escalas más pequeñas. Además, extendemos este marco de evaluación a video, realizando un análisis exhaustivo de los tokenizadores de video. Adicionalmente, demostramos que las métricas tradicionales no logran reflejar con precisión el rendimiento de reconstrucción para rostros y texto, mientras que nuestras métricas propuestas sirven como un complemento efectivo.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.