SPIQA: 科学論文におけるマルチモーダル質問応答のためのデータセット

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

著者: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

要旨

長文の科学的研究論文内での質問に対する回答を求めることは、読者が迅速に疑問を解決するのに役立つ重要な研究分野です。しかし、既存の科学論文に基づく質問応答（QA）データセットは規模が限られており、テキストコンテンツのみに焦点を当てています。この制約に対処するため、私たちはSPIQA（Scientific Paper Image Question Answering）を導入します。これは、コンピュータサイエンスのさまざまな分野にわたる科学研究論文内の複雑な図表を解釈するために特別に設計された初の大規模QAデータセットです。マルチモーダル大規模言語モデル（MLLMs）の幅広い専門知識と図表理解能力を活用し、自動および手動のキュレーションを行ってデータセットを作成しました。私たちは、多様なプロット、チャート、表、概略図、結果の可視化を含む複数の画像を対象とした情報探索タスクを考案しました。SPIQAは、訓練、検証、および3つの異なる評価分割に分けられた270Kの質問で構成されています。12の主要な基盤モデルを用いた広範な実験を通じて、現在のマルチモーダルシステムが研究論文の微妙な側面を理解する能力を評価します。さらに、コンテキスト内検索を伴うChain-of-Thought（CoT）評価戦略を提案し、細かいステップバイステップの評価を可能にし、モデルの性能を向上させます。追加のテキスト情報による性能向上の上限をさらに探り、将来の研究における有望な可能性と、データセットが科学文献との相互作用を革新する上での影響を強調します。

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.