VidText: Rumo a uma Avaliação Abrangente para o Entendimento de Texto em Vídeo

Resumo

Textos visuais incorporados em vídeos carregam informações semânticas ricas, que são cruciais tanto para a compreensão holística de vídeos quanto para o raciocínio detalhado sobre ações humanas locais. No entanto, os benchmarks existentes para compreensão de vídeos em grande parte ignoram informações textuais, enquanto benchmarks específicos para OCR (Reconhecimento Óptico de Caracteres) são limitados a imagens estáticas, restringindo sua capacidade de capturar a interação entre texto e contextos visuais dinâmicos. Para abordar essa lacuna, propomos o VidText, um novo benchmark projetado para avaliação abrangente e aprofundada da compreensão de texto em vídeos. O VidText oferece as seguintes características principais: 1) Abrange uma ampla gama de cenários do mundo real e suporta conteúdo multilíngue, englobando diversos contextos onde o texto em vídeo aparece naturalmente. 2) Introduz uma estrutura de avaliação hierárquica com tarefas em nível de vídeo, clipe e instância, permitindo a avaliação tanto de capacidades de sumarização global quanto de recuperação local. 3) O benchmark também apresenta um conjunto de tarefas emparelhadas de percepção e raciocínio, variando desde a percepção de texto visual até o raciocínio multimodal entre informações textuais e visuais. Experimentos extensivos com 18 Modelos Multimodais de Grande Escala (LMMs) de última geração revelam que os modelos atuais enfrentam dificuldades na maioria das tarefas, com espaço significativo para melhoria. Análises adicionais destacam o impacto tanto de fatores intrínsecos aos modelos, como resolução de entrada e capacidade de OCR, quanto de fatores externos, incluindo o uso de informações auxiliares e estratégias de raciocínio em cadeia (Chain-of-Thought). Esperamos que o VidText preencha a lacuna atual nos benchmarks de compreensão de vídeos e sirva como base para pesquisas futuras sobre raciocínio multimodal com texto em vídeos em ambientes dinâmicos.

English

Visual texts embedded in videos carry rich semantic information, which is crucial for both holistic video understanding and fine-grained reasoning about local human actions. However, existing video understanding benchmarks largely overlook textual information, while OCR-specific benchmarks are constrained to static images, limiting their ability to capture the interaction between text and dynamic visual contexts. To address this gap, we propose VidText, a new benchmark designed for comprehensive and in-depth evaluation of video text understanding. VidText offers the following key features: 1) It covers a wide range of real-world scenarios and supports multilingual content, encompassing diverse settings where video text naturally appears. 2) It introduces a hierarchical evaluation framework with video-level, clip-level, and instance-level tasks, enabling assessment of both global summarization and local retrieval capabilities. 3) The benchmark also introduces a set of paired perception reasoning tasks, ranging from visual text perception to cross-modal reasoning between textual and visual information. Extensive experiments on 18 state-of-the-art Large Multimodal Models (LMMs) reveal that current models struggle across most tasks, with significant room for improvement. Further analysis highlights the impact of both model-intrinsic factors, such as input resolution and OCR capability, and external factors, including the use of auxiliary information and Chain-of-Thought reasoning strategies. We hope VidText will fill the current gap in video understanding benchmarks and serve as a foundation for future research on multimodal reasoning with video text in dynamic environments.

VidText: Rumo a uma Avaliação Abrangente para o Entendimento de Texto em Vídeo

VidText: Towards Comprehensive Evaluation for Video Text Understanding

Resumo

Support