SPIQA: Ein Datensatz für multimodales Frage-Antworten auf wissenschaftlichen Papieren

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

Autoren: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

Zusammenfassung

Die Suche nach Antworten auf Fragen innerhalb langer wissenschaftlicher Forschungsartikel ist ein entscheidender Bereich der Studie, der Lesern dabei hilft, ihre Anfragen schnell zu beantworten. Allerdings sind bestehende Frage-Antwort (QA) Datensätze, die auf wissenschaftlichen Artikeln basieren, in ihrem Umfang begrenzt und konzentrieren sich ausschließlich auf den Textinhalt. Um diese Einschränkung zu überwinden, stellen wir SPIQA (Scientific Paper Image Question Answering) vor, den ersten umfangreichen QA Datensatz, der speziell darauf ausgelegt ist, komplexe Abbildungen und Tabellen im Kontext wissenschaftlicher Forschungsartikel in verschiedenen Bereichen der Informatik zu interpretieren. Unter Nutzung der Expertise und Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) zur Interpretation von Abbildungen setzen wir automatische und manuelle Kuratierung ein, um den Datensatz zu erstellen. Wir entwerfen eine informationsuchende Aufgabe, die mehrere Bilder umfasst, die eine Vielzahl von Diagrammen, Tabellen, schematischen Darstellungen und Ergebnisvisualisierungen abdecken. SPIQA besteht aus 270.000 Fragen, aufgeteilt in Trainings-, Validierungs- und drei verschiedene Auswertungsteile. Durch umfangreiche Experimente mit 12 prominenten Grundlagenmodellen bewerten wir die Fähigkeit aktueller multimodaler Systeme, die nuancierten Aspekte von Forschungsartikeln zu verstehen. Zusätzlich schlagen wir eine Chain-of-Thought (CoT) Evaluationsstrategie mit kontextbezogener Suche vor, die eine feingranulare, schrittweise Bewertung ermöglicht und die Leistung des Modells verbessert. Wir erforschen weiterhin die Grenzen der Leistungssteigerung durch zusätzliche textuelle Informationen und heben ihr vielversprechendes Potenzial für zukünftige Forschung sowie den Einfluss des Datensatzes auf die Revolutionierung unserer Interaktion mit wissenschaftlicher Literatur hervor.

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.