SPIQA : Un ensemble de données pour le question-réponse multimodal sur des articles scientifiques

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

Auteurs: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

Résumé

La recherche de réponses à des questions dans de longs articles de recherche scientifique constitue un domaine d'étude crucial qui aide les lecteurs à répondre rapidement à leurs interrogations. Cependant, les ensembles de données existants pour les systèmes de question-réponse (QA) basés sur des articles scientifiques sont limités en taille et se concentrent uniquement sur le contenu textuel. Pour remédier à cette limitation, nous introduisons SPIQA (Scientific Paper Image Question Answering), le premier ensemble de données QA à grande échelle spécifiquement conçu pour interpréter des figures et tableaux complexes dans le contexte d'articles de recherche scientifique couvrant divers domaines de l'informatique. En exploitant l'expertise étendue et la capacité des modèles de langage multimodaux (MLLMs) à comprendre les figures, nous utilisons une curation automatique et manuelle pour créer cet ensemble de données. Nous concevons une tâche de recherche d'information impliquant plusieurs images qui couvrent une grande variété de graphiques, tableaux, diagrammes schématiques et visualisations de résultats. SPIQA comprend 270K questions réparties en ensembles d'entraînement, de validation et trois divisions d'évaluation distinctes. À travers des expériences approfondies avec 12 modèles fondamentaux de premier plan, nous évaluons la capacité des systèmes multimodaux actuels à comprendre les aspects nuancés des articles de recherche. De plus, nous proposons une stratégie d'évaluation en chaîne de raisonnement (Chain-of-Thought, CoT) avec récupération contextuelle, permettant une évaluation fine et étape par étape, tout en améliorant les performances des modèles. Nous explorons également les limites supérieures d'amélioration des performances avec des informations textuelles supplémentaires, mettant en lumière leur potentiel prometteur pour les recherches futures et l'impact de cet ensemble de données sur la révolution de notre interaction avec la littérature scientifique.

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.