I modelli fondazionali multimodali sono in grado di comprendere i diagrammi schematici? Uno studio empirico sul QA di ricerca di informazioni nei documenti scientifici

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers

July 14, 2025

Autori: Yilun Zhao, Chengye Wang, Chuhan Li, Arman Cohan

cs.AI

Abstract

Questo articolo introduce MISS-QA, il primo benchmark specificamente progettato per valutare la capacità dei modelli di interpretare diagrammi schematici all'interno della letteratura scientifica. MISS-QA comprende 1.500 esempi annotati da esperti, tratti da 465 articoli scientifici. In questo benchmark, i modelli sono chiamati a interpretare diagrammi schematici che illustrano panoramiche di ricerca e a rispondere a domande di ricerca di informazioni basate sul contesto più ampio dell'articolo. Valutiamo le prestazioni di 18 modelli multimodali di base all'avanguardia, tra cui o4-mini, Gemini-2.5-Flash e Qwen2.5-VL. Riveliamo un significativo divario di prestazioni tra questi modelli e gli esperti umani su MISS-QA. La nostra analisi delle prestazioni dei modelli su domande senza risposta e la nostra dettagliata analisi degli errori evidenziano ulteriormente i punti di forza e le limitazioni dei modelli attuali, offrendo intuizioni chiave per migliorare la comprensione della letteratura scientifica multimodale da parte dei modelli.

English

This paper introduces MISS-QA, the first benchmark specifically designed to evaluate the ability of models to interpret schematic diagrams within scientific literature. MISS-QA comprises 1,500 expert-annotated examples over 465 scientific papers. In this benchmark, models are tasked with interpreting schematic diagrams that illustrate research overviews and answering corresponding information-seeking questions based on the broader context of the paper. We assess the performance of 18 frontier multimodal foundation models, including o4-mini, Gemini-2.5-Flash, and Qwen2.5-VL. We reveal a significant performance gap between these models and human experts on MISS-QA. Our analysis of model performance on unanswerable questions and our detailed error analysis further highlight the strengths and limitations of current models, offering key insights to enhance models in comprehending multimodal scientific literature.