MME-VideoOCR: Valutazione delle capacità basate su OCR dei modelli linguistici multimodali in scenari video

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

May 27, 2025

Autori: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno raggiunto una precisione considerevole nel Riconoscimento Ottico dei Caratteri (OCR) da immagini statiche. Tuttavia, la loro efficacia nell'OCR video è significativamente ridotta a causa di fattori come il mosso, le variazioni temporali e gli effetti visivi intrinseci nei contenuti video. Per fornire una guida più chiara per l'addestramento di MLLM pratici, introduciamo il benchmark MME-VideoOCR, che comprende una gamma completa di scenari applicativi di OCR video. MME-VideoOCR presenta 10 categorie di task che comprendono 25 task individuali e copre 44 scenari diversi. Questi task vanno oltre il riconoscimento del testo per incorporare una comprensione e un ragionamento più approfonditi del contenuto testuale all'interno dei video. Il benchmark è composto da 1.464 video con risoluzioni, proporzioni e durate variabili, insieme a 2.000 coppie domanda-risposta curate meticolosamente e annotate manualmente. Valutiamo 18 MLLM all'avanguardia su MME-VideoOCR, rivelando che anche il modello con le migliori prestazioni (Gemini-2.5 Pro) raggiunge un'accuratezza di solo il 73,7%. Un'analisi granulare indica che, sebbene gli MLLM esistenti dimostrino prestazioni solide su task in cui i testi rilevanti sono contenuti in uno o pochi fotogrammi, mostrano una capacità limitata nel gestire efficacemente task che richiedono una comprensione olistica del video. Queste limitazioni sono particolarmente evidenti negli scenari che richiedono ragionamento spazio-temporale, integrazione di informazioni tra fotogrammi o resistenza ai pregiudizi linguistici. I nostri risultati evidenziano anche l'importanza di un input visivo ad alta risoluzione e di una copertura temporale sufficiente per un OCR affidabile in scenari video dinamici.

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.