SPIQA: Un conjunto de datos para la respuesta a preguntas multimodal en artículos científicos.

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

Autores: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

Resumen

La búsqueda de respuestas a preguntas dentro de extensos artículos científicos es un área crucial de estudio que ayuda a los lectores a abordar rápidamente sus consultas. Sin embargo, los conjuntos de datos de preguntas y respuestas (QA) existentes basados en documentos científicos son limitados en escala y se centran únicamente en el contenido textual. Para abordar esta limitación, presentamos SPIQA (Scientific Paper Image Question Answering), el primer conjunto de datos de QA a gran escala diseñado específicamente para interpretar figuras y tablas complejas dentro del contexto de artículos de investigación científica en diversas áreas de la informática. Aprovechando la amplitud de experiencia y la capacidad de los modelos de lenguaje multimodales grandes (MLLMs) para comprender figuras, empleamos una curación automática y manual para crear el conjunto de datos. Diseñamos una tarea de búsqueda de información que involucra múltiples imágenes que abarcan una amplia variedad de gráficos, tablas, diagramas esquemáticos y visualizaciones de resultados. SPIQA consta de 270K preguntas divididas en conjuntos de entrenamiento, validación y tres divisiones de evaluación diferentes. A través de experimentos extensos con 12 modelos fundamentales prominentes, evaluamos la capacidad de los sistemas multimodales actuales para comprender los aspectos matizados de los artículos de investigación. Además, proponemos una estrategia de evaluación Chain-of-Thought (CoT) con recuperación en contexto que permite una evaluación detallada y paso a paso, mejorando el rendimiento del modelo. Exploramos además los límites superiores de mejora del rendimiento con información textual adicional, resaltando su potencial prometedor para futuras investigaciones y el impacto del conjunto de datos en la revolución de la interacción con la literatura científica.

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.