MME-VideoOCR: マルチモーダルLLMのOCRベース能力をビデオシナリオで評価

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

May 27, 2025

著者: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLM）は、静止画像からの光学文字認識（OCR）においてかなりの精度を達成しています。しかし、動画OCRにおける有効性は、動画コンテンツに固有のモーションブラー、時間的変動、視覚効果などの要因により大幅に低下します。実用的なMLLMのトレーニングに明確な指針を提供するため、我々はMME-VideoOCRベンチマークを導入しました。このベンチマークは、動画OCRの幅広いアプリケーションシナリオを網羅しています。MME-VideoOCRは、25の個別タスクからなる10のタスクカテゴリを特徴とし、44の多様なシナリオに及びます。これらのタスクは、テキスト認識を超えて、動画内のテキスト内容の深い理解と推論を組み込んでいます。ベンチマークは、解像度、アスペクト比、時間長が異なる1,464の動画と、2,000の厳選された手動アノテーション付きの質問-回答ペアで構成されています。我々は18の最先端MLLMをMME-VideoOCRで評価し、最高性能のモデル（Gemini-2.5 Pro）でも73.7%の精度しか達成できないことを明らかにしました。詳細な分析によると、既存のMLLMは、関連テキストが単一または少数のフレーム内に含まれるタスクでは強い性能を示すものの、動画全体の理解を要求するタスクを効果的に処理する能力は限られています。これらの制限は、時空間推論、クロスフレーム情報統合、言語事前バイアスへの耐性を必要とするシナリオで特に顕著です。我々の調査結果は、動的な動画シナリオにおける信頼性の高いOCRのためには、高解像度の視覚入力と十分な時間的カバレッジが重要であることも強調しています。

English

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.