M3SciQA : Un Benchmark Multimodal et Multi-Document pour l'Évaluation des Modèles Fondamentaux en Question-Réponse Scientifique
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
November 6, 2024
papers.authors: Chuhan Li, Ziyao Shangguan, Yilun Zhao, Deyuan Li, Yixin Liu, Arman Cohan
cs.AI
papers.abstract
Les benchmarks existants pour évaluer les modèles de base se concentrent principalement sur des tâches mono-documentaires et textuelles. Cependant, ils échouent souvent à saisir pleinement la complexité des workflows de recherche, qui impliquent généralement l'interprétation de données non textuelles et la collecte d'informations à travers plusieurs documents. Pour combler cette lacune, nous introduisons M3SciQA, un benchmark de question-réponse scientifique multimodal et multi-documentaire, conçu pour une évaluation plus complète des modèles de base. M3SciQA comprend 1 452 questions annotées par des experts, couvrant 70 clusters d'articles de traitement automatique du langage naturel, où chaque cluster représente un article principal ainsi que tous les documents qu'il cite, reflétant ainsi le workflow de compréhension d'un article unique en exigeant des données multimodales et multi-documentaires. Avec M3SciQA, nous menons une évaluation complète de 18 modèles de base. Nos résultats indiquent que les modèles de base actuels sont encore significativement moins performants que les experts humains en matière de recherche d'informations multimodales et de raisonnement à travers plusieurs documents scientifiques. De plus, nous explorons les implications de ces résultats pour l'avancement futur de l'application des modèles de base dans l'analyse de la littérature scientifique multimodale.
English
Existing benchmarks for evaluating foundation models mainly focus on
single-document, text-only tasks. However, they often fail to fully capture the
complexity of research workflows, which typically involve interpreting
non-textual data and gathering information across multiple documents. To
address this gap, we introduce M3SciQA, a multi-modal, multi-document
scientific question answering benchmark designed for a more comprehensive
evaluation of foundation models. M3SciQA consists of 1,452 expert-annotated
questions spanning 70 natural language processing paper clusters, where each
cluster represents a primary paper along with all its cited documents,
mirroring the workflow of comprehending a single paper by requiring multi-modal
and multi-document data. With M3SciQA, we conduct a comprehensive evaluation of
18 foundation models. Our results indicate that current foundation models still
significantly underperform compared to human experts in multi-modal information
retrieval and in reasoning across multiple scientific documents. Additionally,
we explore the implications of these findings for the future advancement of
applying foundation models in multi-modal scientific literature analysis.