M3SciQA: Um Benchmark de QA Científico Multimodal e Multidocumento para Avaliação de Modelos de Base

M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models

November 6, 2024

Autores: Chuhan Li, Ziyao Shangguan, Yilun Zhao, Deyuan Li, Yixin Liu, Arman Cohan

cs.AI

Resumo

Os benchmarks existentes para avaliar modelos de base concentram-se principalmente em tarefas de documento único e apenas texto. No entanto, eles frequentemente falham em capturar plenamente a complexidade dos fluxos de trabalho de pesquisa, que tipicamente envolvem a interpretação de dados não textuais e a recolha de informações através de múltiplos documentos. Para colmatar esta lacuna, introduzimos o M3SciQA, um benchmark de resposta a perguntas científicas multimodal e multidocumento, concebido para uma avaliação mais abrangente de modelos de base. O M3SciQA é composto por 1.452 questões anotadas por especialistas, abrangendo 70 clusters de artigos de processamento de linguagem natural, onde cada cluster representa um artigo principal juntamente com todos os seus documentos citados, espelhando o fluxo de trabalho de compreensão de um único artigo ao exigir dados multimodais e multidocumento. Com o M3SciQA, realizámos uma avaliação abrangente de 18 modelos de base. Os nossos resultados indicam que os modelos de base atuais ainda têm um desempenho significativamente inferior ao dos especialistas humanos na recuperação de informação multimodal e no raciocínio através de múltiplos documentos científicos. Adicionalmente, exploramos as implicações destas descobertas para o avanço futuro da aplicação de modelos de base na análise multimodal de literatura científica.

English

Existing benchmarks for evaluating foundation models mainly focus on single-document, text-only tasks. However, they often fail to fully capture the complexity of research workflows, which typically involve interpreting non-textual data and gathering information across multiple documents. To address this gap, we introduce M3SciQA, a multi-modal, multi-document scientific question answering benchmark designed for a more comprehensive evaluation of foundation models. M3SciQA consists of 1,452 expert-annotated questions spanning 70 natural language processing paper clusters, where each cluster represents a primary paper along with all its cited documents, mirroring the workflow of comprehending a single paper by requiring multi-modal and multi-document data. With M3SciQA, we conduct a comprehensive evaluation of 18 foundation models. Our results indicate that current foundation models still significantly underperform compared to human experts in multi-modal information retrieval and in reasoning across multiple scientific documents. Additionally, we explore the implications of these findings for the future advancement of applying foundation models in multi-modal scientific literature analysis.