VidText: Hacia una Evaluación Integral para la Comprensión de Texto en Video

VidText: Towards Comprehensive Evaluation for Video Text Understanding

May 28, 2025

Autores: Zhoufaran Yang, Yan Shu, Zhifei Yang, Yan Zhang, Yu Li, Keyang Lu, Gangyan Zeng, Shaohui Liu, Yu Zhou, Nicu Sebe

cs.AI

Resumen

Los textos visuales incrustados en videos contienen una rica información semántica, la cual es crucial tanto para la comprensión holística de videos como para el razonamiento detallado sobre acciones humanas locales. Sin embargo, los puntos de referencia existentes para la comprensión de videos en gran medida pasan por alto la información textual, mientras que los benchmarks específicos para OCR se limitan a imágenes estáticas, lo que restringe su capacidad para capturar la interacción entre el texto y los contextos visuales dinámicos. Para abordar esta brecha, proponemos VidText, un nuevo benchmark diseñado para la evaluación integral y profunda de la comprensión de texto en videos. VidText ofrece las siguientes características clave: 1) Abarca una amplia gama de escenarios del mundo real y admite contenido multilingüe, incluyendo diversos entornos donde el texto en video aparece naturalmente. 2) Introduce un marco de evaluación jerárquico con tareas a nivel de video, clip e instancia, permitiendo la evaluación tanto de capacidades de resumen global como de recuperación local. 3) El benchmark también presenta un conjunto de tareas emparejadas de percepción y razonamiento, que van desde la percepción de texto visual hasta el razonamiento multimodal entre información textual y visual. Experimentos extensos en 18 Modelos Multimodales de Gran Escala (LMMs) de última generación revelan que los modelos actuales tienen dificultades en la mayoría de las tareas, con un margen significativo de mejora. Un análisis adicional destaca el impacto tanto de factores intrínsecos del modelo, como la resolución de entrada y la capacidad de OCR, como de factores externos, incluyendo el uso de información auxiliar y estrategias de razonamiento de Cadena de Pensamiento (Chain-of-Thought). Esperamos que VidText llene la brecha actual en los benchmarks de comprensión de videos y sirva como base para futuras investigaciones sobre razonamiento multimodal con texto en videos en entornos dinámicos.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.