MME-VideoOCR: Avaliando as Capacidades Baseadas em OCR de LLMs Multimodais em Cenários de Vídeo

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

May 27, 2025

Autores: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) alcançaram precisão considerável na Reconhecimento Óptico de Caracteres (OCR) em imagens estáticas. No entanto, sua eficácia no OCR de vídeos é significativamente reduzida devido a fatores como desfoque de movimento, variações temporais e efeitos visuais inerentes ao conteúdo de vídeo. Para fornecer orientações mais claras para o treinamento de MLLMs práticos, introduzimos o benchmark MME-VideoOCR, que abrange uma ampla gama de cenários de aplicação de OCR em vídeos. O MME-VideoOCR apresenta 10 categorias de tarefas, compreendendo 25 tarefas individuais e abrangendo 44 cenários diversos. Essas tarefas vão além do reconhecimento de texto para incorporar uma compreensão e raciocínio mais profundos do conteúdo textual dentro dos vídeos. O benchmark consiste em 1.464 vídeos com diferentes resoluções, proporções de tela e durações, juntamente com 2.000 pares de perguntas e respostas meticulosamente curados e anotados manualmente. Avaliamos 18 MLLMs de última geração no MME-VideoOCR, revelando que mesmo o modelo com melhor desempenho (Gemini-2.5 Pro) alcança uma precisão de apenas 73,7%. Análises detalhadas indicam que, embora os MLLMs existentes demonstrem um desempenho forte em tarefas onde os textos relevantes estão contidos em um único ou poucos quadros, eles exibem capacidade limitada em lidar efetivamente com tarefas que exigem uma compreensão holística do vídeo. Essas limitações são especialmente evidentes em cenários que requerem raciocínio espaço-temporal, integração de informações entre quadros ou resistência ao viés de prioridade linguística. Nossas descobertas também destacam a importância de uma entrada visual de alta resolução e cobertura temporal suficiente para um OCR confiável em cenários de vídeo dinâmicos.

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.