MicroVQA : Un benchmark de raisonnement multimodal pour la recherche scientifique basée sur la microscopie

MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research

March 17, 2025

Auteurs: James Burgess, Jeffrey J Nirschl, Laura Bravo-Sánchez, Alejandro Lozano, Sanket Rajan Gupte, Jesus G. Galaz-Montoya, Yuhui Zhang, Yuchang Su, Disha Bhowmik, Zachary Coman, Sarina M. Hasan, Alexandra Johannesson, William D. Leineweber, Malvika G Nair, Ridhi Yarlagadda, Connor Zuraski, Wah Chiu, Sarah Cohen, Jan N. Hansen, Manuel D Leonetti, Chad Liu, Emma Lundberg, Serena Yeung-Levy

cs.AI

Résumé

La recherche scientifique exige un raisonnement sophistiqué sur des données multimodales, un défi particulièrement répandu en biologie. Malgré les récents progrès des modèles de langage multimodaux de grande envergure (MLLMs) pour la recherche assistée par l'IA, les benchmarks existants en raisonnement multimodal ne ciblent que des difficultés allant jusqu'au niveau universitaire, tandis que les benchmarks de niveau recherche mettent l'accent sur la perception de bas niveau, ne répondant pas aux besoins complexes en raisonnement multimodal nécessaires à la découverte scientifique. Pour combler cette lacune, nous introduisons MicroVQA, un benchmark de question-réponse visuelle (VQA) conçu pour évaluer trois capacités de raisonnement essentielles dans les workflows de recherche : la compréhension experte des images, la génération d'hypothèses et la proposition d'expériences. MicroVQA se compose de 1 042 questions à choix multiples (QCM) sélectionnées par des experts en biologie à travers diverses modalités de microscopie, garantissant que les échantillons VQA représentent une pratique scientifique réelle. Dans la construction du benchmark, nous constatons que les méthodes standard de génération de QCM induisent des raccourcis linguistiques, motivant un nouveau pipeline en deux étapes : un prompt optimisé pour les LLM structure les paires question-réponse en QCM ; puis, un agent appelé `RefineBot' les met à jour pour supprimer les raccourcis. Le benchmarking sur les MLLMs de pointe révèle une performance maximale de 53 % ; les modèles avec des LLM plus petits ne sous-performent que légèrement les meilleurs modèles, suggérant que le raisonnement basé sur le langage est moins difficile que le raisonnement multimodal ; et l'ajustement avec des articles scientifiques améliore les performances. L'analyse experte des réponses en chaîne de pensée montre que les erreurs de perception sont les plus fréquentes, suivies des erreurs de connaissance puis des erreurs de généralisation excessive. Ces insights mettent en lumière les défis du raisonnement scientifique multimodal, montrant que MicroVQA est une ressource précieuse pour faire progresser la recherche biomédicale pilotée par l'IA. MicroVQA est disponible à l'adresse https://huggingface.co/datasets/jmhb/microvqa, et la page du projet se trouve à https://jmhb0.github.io/microvqa.

English

Scientific research demands sophisticated reasoning over multimodal data, a challenge especially prevalent in biology. Despite recent advances in multimodal large language models (MLLMs) for AI-assisted research, existing multimodal reasoning benchmarks only target up to college-level difficulty, while research-level benchmarks emphasize lower-level perception, falling short of the complex multimodal reasoning needed for scientific discovery. To bridge this gap, we introduce MicroVQA, a visual-question answering (VQA) benchmark designed to assess three reasoning capabilities vital in research workflows: expert image understanding, hypothesis generation, and experiment proposal. MicroVQA consists of 1,042 multiple-choice questions (MCQs) curated by biology experts across diverse microscopy modalities, ensuring VQA samples represent real scientific practice. In constructing the benchmark, we find that standard MCQ generation methods induce language shortcuts, motivating a new two-stage pipeline: an optimized LLM prompt structures question-answer pairs into MCQs; then, an agent-based `RefineBot' updates them to remove shortcuts. Benchmarking on state-of-the-art MLLMs reveal a peak performance of 53\%; models with smaller LLMs only slightly underperform top models, suggesting that language-based reasoning is less challenging than multimodal reasoning; and tuning with scientific articles enhances performance. Expert analysis of chain-of-thought responses shows that perception errors are the most frequent, followed by knowledge errors and then overgeneralization errors. These insights highlight the challenges in multimodal scientific reasoning, showing MicroVQA is a valuable resource advancing AI-driven biomedical research. MicroVQA is available at https://huggingface.co/datasets/jmhb/microvqa, and project page at https://jmhb0.github.io/microvqa.