Kunnen multimodale foundation-modellen schematische diagrammen begrijpen? Een empirische studie naar informatiezoekende vraag-antwoordsystemen voor wetenschappelijke artikelen

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers

July 14, 2025

Auteurs: Yilun Zhao, Chengye Wang, Chuhan Li, Arman Cohan

cs.AI

Samenvatting

Dit artikel introduceert MISS-QA, de eerste benchmark die specifiek is ontworpen om het vermogen van modellen om schematische diagrammen in wetenschappelijke literatuur te interpreteren te evalueren. MISS-QA bestaat uit 1.500 door experts geannoteerde voorbeelden uit 465 wetenschappelijke artikelen. In deze benchmark krijgen modellen de taak om schematische diagrammen die onderzoeksoverzichten illustreren te interpreteren en bijbehorende informatiezoekvragen te beantwoorden op basis van de bredere context van het artikel. We beoordelen de prestaties van 18 toonaangevende multimodale foundationmodellen, waaronder o4-mini, Gemini-2.5-Flash en Qwen2.5-VL. We onthullen een aanzienlijk prestatieverschil tussen deze modellen en menselijke experts op MISS-QA. Onze analyse van de modelprestaties op onbeantwoordbare vragen en onze gedetailleerde foutenanalyse benadrukken verder de sterke en zwakke punten van huidige modellen, wat belangrijke inzichten biedt om modellen te verbeteren in het begrijpen van multimodale wetenschappelijke literatuur.

English

This paper introduces MISS-QA, the first benchmark specifically designed to evaluate the ability of models to interpret schematic diagrams within scientific literature. MISS-QA comprises 1,500 expert-annotated examples over 465 scientific papers. In this benchmark, models are tasked with interpreting schematic diagrams that illustrate research overviews and answering corresponding information-seeking questions based on the broader context of the paper. We assess the performance of 18 frontier multimodal foundation models, including o4-mini, Gemini-2.5-Flash, and Qwen2.5-VL. We reveal a significant performance gap between these models and human experts on MISS-QA. Our analysis of model performance on unanswerable questions and our detailed error analysis further highlight the strengths and limitations of current models, offering key insights to enhance models in comprehending multimodal scientific literature.