M3SciQA: Een Multi-Modaal Multi-Document Wetenschappelijk Vragen-Antwoorden Benchmark voor de Evaluatie van Foundation Models
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
November 6, 2024
Auteurs: Chuhan Li, Ziyao Shangguan, Yilun Zhao, Deyuan Li, Yixin Liu, Arman Cohan
cs.AI
Samenvatting
Bestaande benchmarks voor de evaluatie van foundationmodellen richten zich voornamelijk op taken met één document en alleen tekst. Echter, ze slagen er vaak niet in om de complexiteit van onderzoekswerkstromen volledig te vatten, waarbij doorgaans niet-tekstuele gegevens moeten worden geïnterpreteerd en informatie uit meerdere documenten moet worden verzameld. Om dit hiaat te adresseren, introduceren wij M3SciQA, een multimodale, multidocument benchmark voor wetenschappelijke vraagbeantwoording, ontworpen voor een meer uitgebreide evaluatie van foundationmodellen. M3SciQA bestaat uit 1.452 expert-geannoteerde vragen, verspreid over 70 paperclusters uit de natuurlijke-taalbewerking, waarbij elke cluster een primaire paper vertegenwoordigt samen met alle geciteerde documenten. Dit weerspiegelt de werkstroom van het begrijpen van een enkele paper door multimodale en multidocumentgegevens te vereisen. Met M3SciQA voeren we een uitgebreide evaluatie uit van 18 foundationmodellen. Onze resultaten tonen aan dat huidige foundationmodellen nog steeds significant onderpresteren in vergelijking met menselijke experts, zowel op het gebied van multimodale informatie-retrieval als bij redeneren over meerdere wetenschappelijke documenten. Daarnaast verkennen we de implicaties van deze bevindingen voor de toekomstige vooruitgang in de toepassing van foundationmodellen bij multimodale wetenschappelijke literatuuranalyse.
English
Existing benchmarks for evaluating foundation models mainly focus on
single-document, text-only tasks. However, they often fail to fully capture the
complexity of research workflows, which typically involve interpreting
non-textual data and gathering information across multiple documents. To
address this gap, we introduce M3SciQA, a multi-modal, multi-document
scientific question answering benchmark designed for a more comprehensive
evaluation of foundation models. M3SciQA consists of 1,452 expert-annotated
questions spanning 70 natural language processing paper clusters, where each
cluster represents a primary paper along with all its cited documents,
mirroring the workflow of comprehending a single paper by requiring multi-modal
and multi-document data. With M3SciQA, we conduct a comprehensive evaluation of
18 foundation models. Our results indicate that current foundation models still
significantly underperform compared to human experts in multi-modal information
retrieval and in reasoning across multiple scientific documents. Additionally,
we explore the implications of these findings for the future advancement of
applying foundation models in multi-modal scientific literature analysis.