MME-VideoOCR : Évaluation des capacités basées sur la reconnaissance optique de caractères (OCR) des modèles de langage multimodaux dans des scénarios vidéo

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

May 27, 2025

Auteurs: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont atteint une précision considérable dans la reconnaissance optique de caractères (OCR) à partir d'images statiques. Cependant, leur efficacité dans l'OCR vidéo est significativement réduite en raison de facteurs tels que le flou de mouvement, les variations temporelles et les effets visuels inhérents au contenu vidéo. Pour fournir des directives plus claires pour l'entraînement de MLLMs pratiques, nous introduisons le benchmark MME-VideoOCR, qui englobe un large éventail de scénarios d'application de l'OCR vidéo. MME-VideoOCR comprend 10 catégories de tâches regroupant 25 tâches individuelles et couvre 44 scénarios diversifiés. Ces tâches vont au-delà de la simple reconnaissance de texte pour intégrer une compréhension et un raisonnement plus profonds du contenu textuel dans les vidéos. Le benchmark se compose de 1 464 vidéos avec des résolutions, ratios d'aspect et durées variés, ainsi que de 2 000 paires de questions-réponses soigneusement sélectionnées et annotées manuellement. Nous évaluons 18 MLLMs de pointe sur MME-VideoOCR, révélant que même le modèle le plus performant (Gemini-2.5 Pro) n'atteint qu'une précision de 73,7 %. Une analyse fine montre que si les MLLMs existants démontrent de solides performances sur les tâches où les textes pertinents sont contenus dans une seule ou quelques images, ils présentent des capacités limitées pour gérer efficacement les tâches nécessitant une compréhension holistique de la vidéo. Ces limitations sont particulièrement évidentes dans les scénarios qui exigent un raisonnement spatio-temporel, une intégration d'informations inter-images ou une résistance aux biais de priorité linguistique. Nos résultats soulignent également l'importance d'une entrée visuelle haute résolution et d'une couverture temporelle suffisante pour une OCR fiable dans des scénarios vidéo dynamiques.

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.