VidText: Auf dem Weg zu einer umfassenden Bewertung für das Verständnis von Videotexten

VidText: Towards Comprehensive Evaluation for Video Text Understanding

May 28, 2025

Autoren: Zhoufaran Yang, Yan Shu, Zhifei Yang, Yan Zhang, Yu Li, Keyang Lu, Gangyan Zeng, Shaohui Liu, Yu Zhou, Nicu Sebe

cs.AI

Zusammenfassung

Visuelle Texte, die in Videos eingebettet sind, tragen reichhaltige semantische Informationen, die sowohl für das ganzheitliche Verständnis von Videos als auch für die feinkörnige Analyse lokaler menschlicher Handlungen entscheidend sind. Allerdings übersehen bestehende Benchmarks für das Videoverständnis weitgehend textuelle Informationen, während OCR-spezifische Benchmarks auf statische Bilder beschränkt sind, was ihre Fähigkeit einschränkt, die Interaktion zwischen Text und dynamischen visuellen Kontexten zu erfassen. Um diese Lücke zu schließen, schlagen wir VidText vor, einen neuen Benchmark, der für eine umfassende und tiefgehende Bewertung des Video-Text-Verständnisses entwickelt wurde. VidText bietet die folgenden Schlüsselmerkmale: 1) Es deckt eine breite Palette realer Szenarien ab und unterstützt mehrsprachige Inhalte, wodurch diverse Umgebungen abgedeckt werden, in denen Video-Text natürlich auftritt. 2) Es führt ein hierarchisches Bewertungsframework mit Video-, Clip- und Instanzebenen-Aufgaben ein, das sowohl die globale Zusammenfassung als auch die lokale Retrieval-Fähigkeit bewertet. 3) Der Benchmark führt auch eine Reihe gepaarter Wahrnehmungs- und Schlussfolgerungsaufgaben ein, die von der visuellen Textwahrnehmung bis zur cross-modalen Schlussfolgerung zwischen textuellen und visuellen Informationen reichen. Umfangreiche Experimente mit 18 state-of-the-art Large Multimodal Models (LMMs) zeigen, dass aktuelle Modelle bei den meisten Aufgaben Schwierigkeiten haben und erheblichen Verbesserungsbedarf aufweisen. Weitere Analysen heben die Auswirkungen sowohl modellintrinsischer Faktoren, wie Eingabeauflösung und OCR-Fähigkeit, als auch externer Faktoren, einschließlich der Nutzung von Zusatzinformationen und Chain-of-Thought-Schlussfolgerungsstrategien, hervor. Wir hoffen, dass VidText die derzeitige Lücke in den Benchmarks für das Videoverständnis schließen und als Grundlage für zukünftige Forschungen zur multimodalen Schlussfolgerung mit Video-Text in dynamischen Umgebungen dienen wird.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.