VidText: Naar een uitgebreide evaluatie voor videotekstbegrip

Samenvatting

Visuele teksten die in video's zijn ingebed, bevatten rijke semantische informatie, wat cruciaal is voor zowel een holistisch begrip van video's als voor gedetailleerde redeneringen over lokale menselijke acties. Bestaande benchmarks voor videobegrip negeren echter grotendeels tekstuele informatie, terwijl OCR-specifieke benchmarks beperkt zijn tot statische afbeeldingen, wat hun vermogen beperkt om de interactie tussen tekst en dynamische visuele contexten vast te leggen. Om deze kloof te overbruggen, stellen we VidText voor, een nieuwe benchmark die is ontworpen voor een uitgebreide en diepgaande evaluatie van tekstbegrip in video's. VidText biedt de volgende belangrijke kenmerken: 1) Het bestrijkt een breed scala aan realistische scenario's en ondersteunt meertalige inhoud, waarbij diverse omgevingen worden omvat waar tekst van nature in video's voorkomt. 2) Het introduceert een hiërarchisch evaluatiekader met taken op videoniveau, clipniveau en instantieniveau, waardoor zowel globale samenvatting als lokale retrievability kunnen worden beoordeeld. 3) De benchmark introduceert ook een reeks gepaarde perceptie-redeneertaken, variërend van visuele tekstperceptie tot cross-modale redenering tussen tekstuele en visuele informatie. Uitgebreide experimenten met 18 state-of-the-art Large Multimodal Models (LMM's) laten zien dat huidige modellen moeite hebben met de meeste taken, met aanzienlijke ruimte voor verbetering. Verdere analyse benadrukt de impact van zowel modelintrinsieke factoren, zoals invoerresolutie en OCR-capaciteit, als externe factoren, waaronder het gebruik van aanvullende informatie en Chain-of-Thought-redeneerstrategieën. We hopen dat VidText de huidige kloof in benchmarks voor videobegrip zal opvullen en als basis zal dienen voor toekomstig onderzoek naar multimodale redenering met videotekst in dynamische omgevingen.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.

VidText: Naar een uitgebreide evaluatie voor videotekstbegrip

VidText: Towards Comprehensive Evaluation for Video Text Understanding

Samenvatting

Support