MME-VideoOCR: Оценка OCR-возможностей мультимодальных языковых моделей в видеосценариях
MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios
May 27, 2025
Авторы: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang
cs.AI
Аннотация
Мультимодальные большие языковые модели (MLLMs) достигли значительной точности в задачах оптического распознавания символов (OCR) на статических изображениях. Однако их эффективность в OCR для видео существенно снижается из-за таких факторов, как размытие в движении, временные вариации и визуальные эффекты, присущие видеоконтенту. Для предоставления более четких рекомендаций по обучению практических MLLMs мы представляем бенчмарк MME-VideoOCR, который охватывает широкий спектр сценариев применения OCR в видео. MME-VideoOCR включает 10 категорий задач, состоящих из 25 отдельных заданий, и охватывает 44 разнообразных сценария. Эти задачи выходят за рамки простого распознавания текста, включая более глубокое понимание и анализ текстового содержания в видео. Бенчмарк состоит из 1 464 видео с различным разрешением, соотношением сторон и длительностью, а также 2 000 тщательно отобранных и вручную аннотированных пар вопросов и ответов. Мы оценили 18 современных MLLMs на MME-VideoOCR, и результаты показали, что даже лучшая модель (Gemini-2.5 Pro) достигает точности всего 73,7%. Детальный анализ показывает, что, хотя существующие MLLMs демонстрируют высокую производительность на задачах, где релевантный текст содержится в одном или нескольких кадрах, их возможности ограничены в эффективном решении задач, требующих целостного понимания видео. Эти ограничения особенно заметны в сценариях, требующих пространственно-временного анализа, интеграции информации между кадрами или устойчивости к языковым предубеждениям. Наши результаты также подчеркивают важность высокого разрешения визуального ввода и достаточного временного охвата для надежного OCR в динамичных видео-сценариях.
English
Multimodal Large Language Models (MLLMs) have achieved considerable accuracy
in Optical Character Recognition (OCR) from static images. However, their
efficacy in video OCR is significantly diminished due to factors such as motion
blur, temporal variations, and visual effects inherent in video content. To
provide clearer guidance for training practical MLLMs, we introduce the
MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR
application scenarios. MME-VideoOCR features 10 task categories comprising 25
individual tasks and spans 44 diverse scenarios. These tasks extend beyond text
recognition to incorporate deeper comprehension and reasoning of textual
content within videos. The benchmark consists of 1,464 videos with varying
resolutions, aspect ratios, and durations, along with 2,000 meticulously
curated, manually annotated question-answer pairs. We evaluate 18
state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing
model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained
analysis indicates that while existing MLLMs demonstrate strong performance on
tasks where relevant texts are contained within a single or few frames, they
exhibit limited capability in effectively handling tasks that demand holistic
video comprehension. These limitations are especially evident in scenarios that
require spatio-temporal reasoning, cross-frame information integration, or
resistance to language prior bias. Our findings also highlight the importance
of high-resolution visual input and sufficient temporal coverage for reliable
OCR in dynamic video scenarios.Summary
AI-Generated Summary