Могут ли мультимодальные базовые модели понимать схематические диаграммы? Эмпирическое исследование вопросно-ответных систем для поиска информации в научных статьях
Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers
July 14, 2025
Авторы: Yilun Zhao, Chengye Wang, Chuhan Li, Arman Cohan
cs.AI
Аннотация
В данной статье представлен MISS-QA — первый бенчмарк, специально разработанный для оценки способности моделей интерпретировать схематические диаграммы в научной литературе. MISS-QA включает 1500 примеров, аннотированных экспертами, из 465 научных статей. В рамках этого бенчмарка модели должны интерпретировать схематические диаграммы, иллюстрирующие обзор исследований, и отвечать на соответствующие информационные вопросы, основываясь на более широком контексте статьи. Мы оцениваем производительность 18 передовых мультимодальных базовых моделей, включая o4-mini, Gemini-2.5-Flash и Qwen2.5-VL. Результаты показывают значительный разрыв в производительности между этими моделями и экспертами-людьми на MISS-QA. Наш анализ производительности моделей на неответимых вопросах и детальный анализ ошибок дополнительно подчеркивают сильные и слабые стороны современных моделей, предлагая ключевые идеи для улучшения их способности понимать мультимодальную научную литературу.
English
This paper introduces MISS-QA, the first benchmark specifically designed to
evaluate the ability of models to interpret schematic diagrams within
scientific literature. MISS-QA comprises 1,500 expert-annotated examples over
465 scientific papers. In this benchmark, models are tasked with interpreting
schematic diagrams that illustrate research overviews and answering
corresponding information-seeking questions based on the broader context of the
paper. We assess the performance of 18 frontier multimodal foundation models,
including o4-mini, Gemini-2.5-Flash, and Qwen2.5-VL. We reveal a significant
performance gap between these models and human experts on MISS-QA. Our analysis
of model performance on unanswerable questions and our detailed error analysis
further highlight the strengths and limitations of current models, offering key
insights to enhance models in comprehending multimodal scientific literature.