VidText: Verso una Valutazione Completa per la Comprensione del Testo nei Video

Abstract

I testi visivi incorporati nei video trasportano ricche informazioni semantiche, fondamentali sia per una comprensione olistica del video sia per un ragionamento dettagliato sulle azioni umane locali. Tuttavia, i benchmark esistenti per la comprensione video trascurano in gran parte le informazioni testuali, mentre i benchmark specifici per l'OCR sono limitati a immagini statiche, riducendo la loro capacità di catturare l'interazione tra testo e contesti visivi dinamici. Per colmare questa lacuna, proponiamo VidText, un nuovo benchmark progettato per una valutazione completa e approfondita della comprensione del testo nei video. VidText offre le seguenti caratteristiche chiave: 1) Copre un'ampia gamma di scenari del mondo reale e supporta contenuti multilingue, abbracciando contesti diversificati in cui il testo video appare naturalmente. 2) Introduce un framework di valutazione gerarchico con compiti a livello di video, clip e istanza, consentendo la valutazione sia delle capacità di sintesi globale sia di quelle di recupero locale. 3) Il benchmark introduce anche una serie di compiti accoppiati di percezione e ragionamento, che vanno dalla percezione del testo visivo al ragionamento cross-modale tra informazioni testuali e visive. Esperimenti estesi su 18 modelli multimodali di grandi dimensioni (LMM) all'avanguardia rivelano che i modelli attuali faticano nella maggior parte dei compiti, con un significativo margine di miglioramento. Un'ulteriore analisi evidenzia l'impatto sia di fattori intrinseci al modello, come la risoluzione dell'input e la capacità OCR, sia di fattori esterni, tra cui l'uso di informazioni ausiliarie e strategie di ragionamento a catena di pensiero (Chain-of-Thought). Speriamo che VidText colmi l'attuale lacuna nei benchmark di comprensione video e serva come base per future ricerche sul ragionamento multimodale con il testo video in ambienti dinamici.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.

VidText: Verso una Valutazione Completa per la Comprensione del Testo nei Video

VidText: Towards Comprehensive Evaluation for Video Text Understanding

Abstract

Support