MME-VideoOCR: Evaluación de capacidades basadas en OCR de modelos de lenguaje multimodal en escenarios de video

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

May 27, 2025

Autores: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han logrado una precisión considerable en el Reconocimiento Óptico de Caracteres (OCR) a partir de imágenes estáticas. Sin embargo, su eficacia en el OCR de videos se ve significativamente reducida debido a factores como el desenfoque por movimiento, las variaciones temporales y los efectos visuales inherentes al contenido de video. Para ofrecer una guía más clara en el entrenamiento de MLLMs prácticos, presentamos el benchmark MME-VideoOCR, que abarca una amplia gama de escenarios de aplicación de OCR en video. MME-VideoOCR incluye 10 categorías de tareas que comprenden 25 tareas individuales y abarca 44 escenarios diversos. Estas tareas van más allá del reconocimiento de texto para incorporar una comprensión y razonamiento más profundos del contenido textual dentro de los videos. El benchmark consta de 1,464 videos con diferentes resoluciones, proporciones de aspecto y duraciones, junto con 2,000 pares de preguntas-respuestas cuidadosamente curadas y anotadas manualmente. Evaluamos 18 MLLMs de última generación en MME-VideoOCR, revelando que incluso el modelo con mejor rendimiento (Gemini-2.5 Pro) alcanza una precisión de solo el 73.7%. Un análisis detallado indica que, aunque los MLLMs existentes demuestran un fuerte rendimiento en tareas donde los textos relevantes están contenidos en uno o pocos fotogramas, muestran una capacidad limitada para manejar eficazmente tareas que requieren una comprensión holística del video. Estas limitaciones son especialmente evidentes en escenarios que exigen razonamiento espacio-temporal, integración de información entre fotogramas o resistencia al sesgo previo del lenguaje. Nuestros hallazgos también destacan la importancia de una entrada visual de alta resolución y una cobertura temporal suficiente para un OCR confiable en escenarios de video dinámicos.

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.