다중모달 기반 모델은 도식적 다이어그램을 이해할 수 있는가? 과학 논문에 대한 정보 탐색 질의응답에 대한 실증적 연구

초록

본 논문은 과학 문헌 내 도식적 다이어그램을 해석하는 모델의 능력을 평가하기 위해 특별히 설계된 최초의 벤치마크인 MISS-QA를 소개한다. MISS-QA는 465편의 과학 논문에 걸쳐 전문가가 주석을 단 1,500개의 예시로 구성되어 있다. 이 벤치마크에서 모델은 연구 개요를 설명하는 도식적 다이어그램을 해석하고, 해당 논문의 광범위한 맥락을 기반으로 정보 탐색 질문에 답하는 과제를 수행한다. 우리는 o4-mini, Gemini-2.5-Flash, Qwen2.5-VL을 포함한 18개의 최첨단 멀티모달 기반 모델의 성능을 평가했다. 이를 통해 MISS-QA에서 이러한 모델과 인간 전문가 간의 상당한 성능 격차를 확인했다. 또한, 답변이 불가능한 질문에 대한 모델 성능 분석과 상세한 오류 분석을 통해 현재 모델의 강점과 한계를 부각시켰으며, 멀티모달 과학 문헌 이해를 향상시키기 위한 핵심 통찰을 제공한다.

English

This paper introduces MISS-QA, the first benchmark specifically designed to evaluate the ability of models to interpret schematic diagrams within scientific literature. MISS-QA comprises 1,500 expert-annotated examples over 465 scientific papers. In this benchmark, models are tasked with interpreting schematic diagrams that illustrate research overviews and answering corresponding information-seeking questions based on the broader context of the paper. We assess the performance of 18 frontier multimodal foundation models, including o4-mini, Gemini-2.5-Flash, and Qwen2.5-VL. We reveal a significant performance gap between these models and human experts on MISS-QA. Our analysis of model performance on unanswerable questions and our detailed error analysis further highlight the strengths and limitations of current models, offering key insights to enhance models in comprehending multimodal scientific literature.

다중모달 기반 모델은 도식적 다이어그램을 이해할 수 있는가? 과학 논문에 대한 정보 탐색 질의응답에 대한 실증적 연구

Can Multimodal Foundation Models Understand Schematic Diagrams? An Empirical Study on Information-Seeking QA over Scientific Papers

초록

Support