M3SciQA: Многомодальный многодокументный научный бенчмарк для оценки вопросно-ответных систем в фундаментальных моделях
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
November 6, 2024
Авторы: Chuhan Li, Ziyao Shangguan, Yilun Zhao, Deyuan Li, Yixin Liu, Arman Cohan
cs.AI
Аннотация
Существующие тестовые наборы для оценки базовых моделей в основном ориентированы на задачи с одним текстовым документом. Однако они зачастую не в полной мере отражают сложность исследовательских процессов, которые обычно включают интерпретацию нетекстовых данных и сбор информации из множества документов. Для устранения этого пробела мы представляем M3SciQA — многомодальный, многодокументный бенчмарк для ответов на научные вопросы, предназначенный для более комплексной оценки базовых моделей. M3SciQA содержит 1452 экспертно размеченных вопроса, охватывающих 70 кластеров научных статей по обработке естественного языка, где каждый кластер представляет основную статью вместе со всеми цитируемыми документами, что имитирует рабочий процесс понимания отдельной статьи через требование многомодальных и многодокументных данных. С помощью M3SciQA мы провели всестороннюю оценку 18 базовых моделей. Наши результаты показывают, что современные базовые модели по-прежнему существенно уступают экспертам-людям в многомодальном информационном поиске и в рассуждениях на основе множества научных документов. Кроме того, мы исследуем последствия этих выводов для будущего развития применения базовых моделей в многомодальном анализе научной литературы.
English
Existing benchmarks for evaluating foundation models mainly focus on
single-document, text-only tasks. However, they often fail to fully capture the
complexity of research workflows, which typically involve interpreting
non-textual data and gathering information across multiple documents. To
address this gap, we introduce M3SciQA, a multi-modal, multi-document
scientific question answering benchmark designed for a more comprehensive
evaluation of foundation models. M3SciQA consists of 1,452 expert-annotated
questions spanning 70 natural language processing paper clusters, where each
cluster represents a primary paper along with all its cited documents,
mirroring the workflow of comprehending a single paper by requiring multi-modal
and multi-document data. With M3SciQA, we conduct a comprehensive evaluation of
18 foundation models. Our results indicate that current foundation models still
significantly underperform compared to human experts in multi-modal information
retrieval and in reasoning across multiple scientific documents. Additionally,
we explore the implications of these findings for the future advancement of
applying foundation models in multi-modal scientific literature analysis.