TokBench: Avaliando Seu Tokenizador Visual antes da Geração Visual

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

Autores: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

Resumo

Neste trabalho, revelamos as limitações dos tokenizadores visuais e VAEs na preservação de características de alta granularidade, e propomos um benchmark para avaliar o desempenho de reconstrução para dois tipos de conteúdo visual desafiadores: texto e rosto. Tokenizadores visuais e VAEs avançaram significativamente a geração visual e a modelagem multimodal ao fornecer representações de imagem comprimidas ou quantizadas mais eficientes. No entanto, embora ajudem os modelos de produção a reduzir a carga computacional, a perda de informação decorrente da compressão de imagem limita fundamentalmente o limite superior da qualidade de geração visual. Para avaliar esse limite superior, focamos na avaliação de características reconstruídas de texto e rosto, pois elas geralmente: 1) existem em escalas menores, 2) contêm texturas densas e ricas, 3) são propensas a colapsar, e 4) são altamente sensíveis à visão humana. Primeiro, coletamos e organizamos um conjunto diversificado de imagens claras de texto e rosto a partir de conjuntos de dados existentes. Diferente de abordagens que utilizam modelos VLM, empregamos modelos estabelecidos de OCR e reconhecimento facial para avaliação, garantindo precisão enquanto mantemos um processo de avaliação extremamente leve <span style="font-weight: bold; color: rgb(214, 21, 21);">que requer apenas 2GB de memória e 4 minutos</span> para ser concluído. Usando nosso benchmark, analisamos a qualidade de reconstrução de texto e rosto em várias escalas para diferentes tokenizadores de imagem e VAEs. Nossos resultados mostram que os tokenizadores visuais modernos ainda têm dificuldade em preservar características de alta granularidade, especialmente em escalas menores. Estendemos ainda mais esse framework de avaliação para vídeo, realizando uma análise abrangente de tokenizadores de vídeo. Além disso, demonstramos que métricas tradicionais falham em refletir com precisão o desempenho de reconstrução para rostos e texto, enquanto as métricas que propomos servem como um complemento eficaz.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.