VidText : Vers une évaluation complète pour la compréhension du texte dans les vidéos

VidText: Towards Comprehensive Evaluation for Video Text Understanding

May 28, 2025

Auteurs: Zhoufaran Yang, Yan Shu, Zhifei Yang, Yan Zhang, Yu Li, Keyang Lu, Gangyan Zeng, Shaohui Liu, Yu Zhou, Nicu Sebe

cs.AI

Résumé

Les textes visuels intégrés dans les vidéos véhiculent des informations sémantiques riches, essentielles à la fois pour la compréhension globale des vidéos et pour le raisonnement détaillé sur les actions humaines locales. Cependant, les benchmarks existants pour la compréhension vidéo négligent largement l'information textuelle, tandis que les benchmarks spécifiques à la reconnaissance optique de caractères (OCR) se limitent aux images statiques, ce qui limite leur capacité à capturer l'interaction entre le texte et les contextes visuels dynamiques. Pour combler cette lacune, nous proposons VidText, un nouveau benchmark conçu pour une évaluation complète et approfondie de la compréhension des textes vidéo. VidText offre les caractéristiques clés suivantes : 1) Il couvre un large éventail de scénarios réels et prend en charge du contenu multilingue, englobant divers contextes où le texte vidéo apparaît naturellement. 2) Il introduit un cadre d'évaluation hiérarchique avec des tâches au niveau de la vidéo, du clip et de l'instance, permettant d'évaluer à la fois les capacités de résumé global et de recherche locale. 3) Le benchmark propose également un ensemble de tâches jumelées de perception et de raisonnement, allant de la perception de texte visuel au raisonnement croisé entre les informations textuelles et visuelles. Des expériences approfondies sur 18 modèles multimodaux de pointe (LMMs) révèlent que les modèles actuels rencontrent des difficultés sur la plupart des tâches, avec une marge d'amélioration significative. Une analyse plus poussée met en lumière l'impact de facteurs intrinsèques au modèle, tels que la résolution d'entrée et les capacités OCR, ainsi que de facteurs externes, notamment l'utilisation d'informations auxiliaires et de stratégies de raisonnement en chaîne de pensée (Chain-of-Thought). Nous espérons que VidText comblera le manque actuel dans les benchmarks de compréhension vidéo et servira de base pour les recherches futures sur le raisonnement multimodal avec le texte vidéo dans des environnements dynamiques.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.