SPIQA: Um Conjunto de Dados para Resposta a Perguntas Multimodais em Artigos Científicos

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

Autores: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

Resumo

A busca por respostas a perguntas em longos artigos científicos é uma área crucial de estudo que auxilia os leitores a abordarem rapidamente suas dúvidas. No entanto, os conjuntos de dados de perguntas e respostas (QA) existentes baseados em artigos científicos são limitados em escala e focam exclusivamente no conteúdo textual. Para lidar com essa limitação, apresentamos o SPIQA (Scientific Paper Image Question Answering), o primeiro conjunto de dados QA em larga escala especificamente projetado para interpretar figuras e tabelas complexas no contexto de artigos de pesquisa científica em várias áreas da ciência da computação. Aproveitando a amplitude de conhecimento e capacidade dos modelos de linguagem multilíngue multimodais (MLLMs) para entender figuras, empregamos curadoria automática e manual para criar o conjunto de dados. Criamos uma tarefa de busca de informações envolvendo múltiplas imagens que abrangem uma ampla variedade de gráficos, tabelas, diagramas esquemáticos e visualizações de resultados. O SPIQA é composto por 270 mil perguntas divididas em conjuntos de treinamento, validação e três divisões de avaliação diferentes. Através de experimentos extensivos com 12 modelos fundamentais proeminentes, avaliamos a capacidade dos sistemas multimodais atuais de compreender os aspectos sutis dos artigos de pesquisa. Além disso, propomos uma estratégia de avaliação Chain-of-Thought (CoT) com recuperação no contexto que permite uma avaliação detalhada e passo a passo, melhorando o desempenho do modelo. Exploramos ainda os limites superiores do aprimoramento de desempenho com informações textuais adicionais, destacando seu potencial promissor para pesquisas futuras e o impacto do conjunto de dados na revolução da forma como interagimos com a literatura científica.

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.