TokBench: Оценка визуального токенизатора перед визуальной генерацией
TokBench: Evaluating Your Visual Tokenizer before Visual Generation
May 23, 2025
Авторы: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai
cs.AI
Аннотация
В данной работе мы раскрываем ограничения визуальных токенизаторов и вариационных автоэнкодеров (VAE) в сохранении мелкозернистых признаков и предлагаем эталонный тест для оценки качества реконструкции двух сложных типов визуального контента: текста и лиц. Визуальные токенизаторы и VAE значительно продвинули визуальную генерацию и мультимодальное моделирование, предоставив более эффективные сжатые или квантованные представления изображений. Однако, хотя они помогают производственным моделям снизить вычислительные затраты, потеря информации при сжатии изображений фундаментально ограничивает верхний предел качества визуальной генерации. Чтобы оценить этот предел, мы сосредоточились на анализе реконструированных текстовых и лицевых признаков, поскольку они обычно: 1) существуют в меньших масштабах, 2) содержат плотные и богатые текстуры, 3) склонны к коллапсу и 4) крайне чувствительны для человеческого зрения. Сначала мы собрали и подготовили разнообразный набор четких изображений текста и лиц из существующих наборов данных. В отличие от подходов, использующих модели VLM, мы применяем проверенные модели OCR и распознавания лиц для оценки, обеспечивая точность при сохранении исключительно легковесного процесса тестирования, <span style="font-weight: bold; color: rgb(214, 21, 21);">требующего всего 2 ГБ памяти и 4 минуты</span> для завершения. Используя наш эталонный тест, мы анализируем качество реконструкции текста и лиц на различных масштабах для разных токенизаторов изображений и VAE. Наши результаты показывают, что современные визуальные токенизаторы по-прежнему испытывают трудности с сохранением мелкозернистых признаков, особенно в меньших масштабах. Мы также расширяем эту оценочную структуру на видео, проводя всесторонний анализ видео токенизаторов. Кроме того, мы демонстрируем, что традиционные метрики не способны точно отразить качество реконструкции для лиц и текста, в то время как предложенные нами метрики служат эффективным дополнением.
English
In this work, we reveal the limitations of visual tokenizers and VAEs in
preserving fine-grained features, and propose a benchmark to evaluate
reconstruction performance for two challenging visual contents: text and face.
Visual tokenizers and VAEs have significantly advanced visual generation and
multimodal modeling by providing more efficient compressed or quantized image
representations. However, while helping production models reduce computational
burdens, the information loss from image compression fundamentally limits the
upper bound of visual generation quality. To evaluate this upper bound, we
focus on assessing reconstructed text and facial features since they typically:
1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to
collapse, and 4) are highly sensitive to human vision. We first collect and
curate a diverse set of clear text and face images from existing datasets.
Unlike approaches using VLM models, we employ established OCR and face
recognition models for evaluation, ensuring accuracy while maintaining an
exceptionally lightweight assessment process <span style="font-weight: bold;
color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to
complete. Using our benchmark, we analyze text and face reconstruction quality
across various scales for different image tokenizers and VAEs. Our results show
modern visual tokenizers still struggle to preserve fine-grained features,
especially at smaller scales. We further extend this evaluation framework to
video, conducting comprehensive analysis of video tokenizers. Additionally, we
demonstrate that traditional metrics fail to accurately reflect reconstruction
performance for faces and text, while our proposed metrics serve as an
effective complement.