SPIQA: Набор данных для мультимодального вопросно-ответного моделирования на научных статьях

SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

July 12, 2024

Авторы: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan

cs.AI

Аннотация

Поиск ответов на вопросы в длинных научных исследовательских статьях является важной областью изучения, которая помогает читателям быстро находить ответы на свои запросы. Однако существующие наборы данных для вопросно-ответных систем (QA) на основе научных статей ограничены по масштабу и фокусируются исключительно на текстовом контенте. Для преодоления этого ограничения мы представляем SPIQA (Scientific Paper Image Question Answering) - первый крупномасштабный набор данных QA, специально разработанный для интерпретации сложных иллюстраций и таблиц в контексте научных исследовательских статей по различным областям информатики. Используя широту экспертизы и возможности мультимодальных моделей языка большого объема (MLLMs) для понимания иллюстраций, мы применяем автоматическое и ручное курирование для создания набора данных. Мы разрабатываем задачу поиска информации, включающую несколько изображений, охватывающих широкий спектр графиков, диаграмм, таблиц, схематических диаграмм и визуализаций результатов. SPIQA включает 270 тыс. вопросов, разделенных на обучающую, валидационную и три различных набора для оценки. Проводя обширные эксперименты с 12 ведущими фундаментальными моделями, мы оцениваем способность текущих мультимодальных систем понимать тонкие аспекты научных статей. Кроме того, мы предлагаем стратегию оценки Chain-of-Thought (CoT) с пошаговым извлечением контекста, позволяющую детальную оценку и улучшение производительности модели. Мы также исследуем верхние границы улучшения производительности с дополнительной текстовой информацией, выделяя ее многообещающий потенциал для будущих исследований и влияние набора данных на революционизацию взаимодействия с научной литературой.

English

Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.