MME-VideoOCR: Bewertung der OCR-basierten Fähigkeiten multimodaler LLMs in Videoszenarien
MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios
May 27, 2025
Autoren: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang
cs.AI
Zusammenfassung
Multimodale Large Language Models (MLLMs) haben eine beträchtliche Genauigkeit bei der optischen Zeichenerkennung (OCR) aus statischen Bildern erreicht. Ihre Wirksamkeit bei der Video-OCR ist jedoch aufgrund von Faktoren wie Bewegungsunschärfe, zeitlichen Variationen und visuellen Effekten, die in Videoinhalten inhärent sind, deutlich reduziert. Um eine klarere Anleitung für das Training praktischer MLLMs zu bieten, führen wir den MME-VideoOCR-Benchmark ein, der ein umfassendes Spektrum von Video-OCR-Anwendungsszenarien abdeckt. MME-VideoOCR umfasst 10 Aufgabenkategorien mit 25 einzelnen Aufgaben und spannt 44 verschiedene Szenarien ab. Diese Aufgaben gehen über die Texterkennung hinaus und beinhalten ein tieferes Verständnis und eine umfassendere Analyse des Textinhalts in Videos. Der Benchmark besteht aus 1.464 Videos mit unterschiedlichen Auflösungen, Seitenverhältnissen und Längen sowie 2.000 sorgfältig kuratierten, manuell annotierten Frage-Antwort-Paaren. Wir evaluieren 18 state-of-the-art MLLMs auf MME-VideoOCR und zeigen, dass selbst das leistungsstärkste Modell (Gemini-2.5 Pro) nur eine Genauigkeit von 73,7 % erreicht. Eine detaillierte Analyse zeigt, dass bestehende MLLMs zwar starke Leistungen bei Aufgaben zeigen, bei denen relevante Texte in einem oder wenigen Bildern enthalten sind, jedoch nur begrenzte Fähigkeiten bei Aufgaben aufweisen, die ein ganzheitliches Videoverständnis erfordern. Diese Einschränkungen sind besonders in Szenarien offensichtlich, die räumlich-zeitliche Schlussfolgerungen, die Integration von Informationen über mehrere Bilder oder die Resistenz gegen sprachliche Vorurteile erfordern. Unsere Ergebnisse unterstreichen auch die Bedeutung von hochauflösenden visuellen Eingaben und ausreichender zeitlicher Abdeckung für eine zuverlässige OCR in dynamischen Videoszenarien.
English
Multimodal Large Language Models (MLLMs) have achieved considerable accuracy
in Optical Character Recognition (OCR) from static images. However, their
efficacy in video OCR is significantly diminished due to factors such as motion
blur, temporal variations, and visual effects inherent in video content. To
provide clearer guidance for training practical MLLMs, we introduce the
MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR
application scenarios. MME-VideoOCR features 10 task categories comprising 25
individual tasks and spans 44 diverse scenarios. These tasks extend beyond text
recognition to incorporate deeper comprehension and reasoning of textual
content within videos. The benchmark consists of 1,464 videos with varying
resolutions, aspect ratios, and durations, along with 2,000 meticulously
curated, manually annotated question-answer pairs. We evaluate 18
state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing
model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained
analysis indicates that while existing MLLMs demonstrate strong performance on
tasks where relevant texts are contained within a single or few frames, they
exhibit limited capability in effectively handling tasks that demand holistic
video comprehension. These limitations are especially evident in scenarios that
require spatio-temporal reasoning, cross-frame information integration, or
resistance to language prior bias. Our findings also highlight the importance
of high-resolution visual input and sufficient temporal coverage for reliable
OCR in dynamic video scenarios.Summary
AI-Generated Summary