TokBench: Het evalueren van uw visuele tokenizer vóór visuele generatie

TokBench: Evaluating Your Visual Tokenizer before Visual Generation

May 23, 2025

Auteurs: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai

cs.AI

Samenvatting

In dit werk onthullen we de beperkingen van visuele tokenizers en VAEs bij het behouden van fijnmazige kenmerken, en stellen we een benchmark voor om de reconstructieprestatie te evalueren voor twee uitdagende visuele inhoudstypen: tekst en gezichten. Visuele tokenizers en VAEs hebben visuele generatie en multimodale modellering aanzienlijk vooruitgeholpen door efficiëntere gecomprimeerde of gekwantiseerde beeldrepresentaties te bieden. Echter, hoewel ze productiemodellen helpen om de computationele last te verminderen, beperkt het informatieverlies door beeldcompressie fundamenteel de bovengrens van de kwaliteit van visuele generatie. Om deze bovengrens te evalueren, richten we ons op het beoordelen van gereconstrueerde tekst- en gezichtskenmerken, omdat deze doorgaans: 1) op kleinere schaal voorkomen, 2) dichte en rijke texturen bevatten, 3) gevoelig zijn voor instorting, en 4) zeer gevoelig zijn voor het menselijk zicht. We verzamelen en cureren eerst een diverse set van duidelijke tekst- en gezichtsafbeeldingen uit bestaande datasets. In tegenstelling tot benaderingen die VLM-modellen gebruiken, zetten we gevestigde OCR- en gezichtsherkenningsmodellen in voor evaluatie, wat nauwkeurigheid waarborgt terwijl een uitzonderlijk lichtgewicht beoordelingsproces wordt gehandhaafd <span style="font-weight: bold; color: rgb(214, 21, 21);">dat slechts 2GB geheugen en 4 minuten vereist</span> om te voltooien. Met behulp van onze benchmark analyseren we de kwaliteit van tekst- en gezichtsreconstructie op verschillende schalen voor verschillende beeldtokenizers en VAEs. Onze resultaten tonen aan dat moderne visuele tokenizers nog steeds moeite hebben om fijnmazige kenmerken te behouden, vooral op kleinere schalen. We breiden dit evaluatiekader verder uit naar video, waarbij we een uitgebreide analyse uitvoeren van videotokenizers. Daarnaast laten we zien dat traditionele metrieken niet accuraat de reconstructieprestatie voor gezichten en tekst weergeven, terwijl onze voorgestelde metrieken een effectieve aanvulling vormen.

English

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.