MME-VideoOCR: Evaluatie van OCR-gebaseerde mogelijkheden van multimodale LLM's in videosituaties

Samenvatting

Multimodale Large Language Models (MLLMs) hebben aanzienlijke nauwkeurigheid bereikt in Optical Character Recognition (OCR) van statische afbeeldingen. Hun effectiviteit in video-OCR is echter aanzienlijk verminderd vanwege factoren zoals bewegingsonscherpte, temporele variaties en visuele effecten die inherent zijn aan videocontent. Om duidelijkere richtlijnen te bieden voor het trainen van praktische MLLMs, introduceren we de MME-VideoOCR-benchmark, die een uitgebreid scala aan video-OCR-toepassingsscenario's omvat. MME-VideoOCR bevat 10 taakcategorieën bestaande uit 25 individuele taken en beslaat 44 diverse scenario's. Deze taken gaan verder dan tekstherkenning en omvatten een dieper begrip en redeneren van tekstuele inhoud binnen video's. De benchmark bestaat uit 1.464 video's met variërende resoluties, beeldverhoudingen en duur, samen met 2.000 zorgvuldig samengestelde, handmatig geannoteerde vraag-antwoordparen. We evalueren 18 state-of-the-art MLLMs op MME-VideoOCR, waaruit blijkt dat zelfs het best presterende model (Gemini-2.5 Pro) een nauwkeurigheid van slechts 73,7% bereikt. Fijnmazige analyses tonen aan dat bestaande MLLMs weliswaar sterk presteren op taken waarbij relevante teksten in één of enkele frames zijn opgenomen, maar beperkte capaciteit vertonen in het effectief omgaan met taken die een holistisch videobegrip vereisen. Deze beperkingen zijn vooral zichtbaar in scenario's die spatio-temporeel redeneren, kruisframe-informatie-integratie of weerstand tegen taalprior bias vereisen. Onze bevindingen benadrukken ook het belang van hoogwaardige visuele invoer en voldoende temporele dekking voor betrouwbare OCR in dynamische videoscenario's.

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.

MME-VideoOCR: Evaluatie van OCR-gebaseerde mogelijkheden van multimodale LLM's in videosituaties

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

Samenvatting

Support