Os Modelos de Fundação Multimodais Podem Compreender Diagramas Esquemáticos? Um Estudo Empírico sobre QA de Busca de Informação em Artigos Científicos

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers

July 14, 2025

Autores: Yilun Zhao, Chengye Wang, Chuhan Li, Arman Cohan

cs.AI

Resumo

Este artigo apresenta o MISS-QA, o primeiro benchmark especificamente projetado para avaliar a capacidade dos modelos de interpretar diagramas esquemáticos presentes na literatura científica. O MISS-QA é composto por 1.500 exemplos anotados por especialistas, extraídos de 465 artigos científicos. Neste benchmark, os modelos são desafiados a interpretar diagramas esquemáticos que ilustram visões gerais de pesquisas e a responder perguntas de busca de informações com base no contexto mais amplo do artigo. Avaliamos o desempenho de 18 modelos multimodais de ponta, incluindo o4-mini, Gemini-2.5-Flash e Qwen2.5-VL. Revelamos uma lacuna significativa de desempenho entre esses modelos e especialistas humanos no MISS-QA. Nossa análise do desempenho dos modelos em perguntas sem resposta e a análise detalhada de erros destacam ainda mais os pontos fortes e as limitações dos modelos atuais, oferecendo insights fundamentais para aprimorar a compreensão de literatura científica multimodal por parte dos modelos.

English

This paper introduces MISS-QA, the first benchmark specifically designed to evaluate the ability of models to interpret schematic diagrams within scientific literature. MISS-QA comprises 1,500 expert-annotated examples over 465 scientific papers. In this benchmark, models are tasked with interpreting schematic diagrams that illustrate research overviews and answering corresponding information-seeking questions based on the broader context of the paper. We assess the performance of 18 frontier multimodal foundation models, including o4-mini, Gemini-2.5-Flash, and Qwen2.5-VL. We reveal a significant performance gap between these models and human experts on MISS-QA. Our analysis of model performance on unanswerable questions and our detailed error analysis further highlight the strengths and limitations of current models, offering key insights to enhance models in comprehending multimodal scientific literature.