MicroVQA: Un punto de referencia para el razonamiento multimodal en investigación científica basada en microscopía

MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research

March 17, 2025

Autores: James Burgess, Jeffrey J Nirschl, Laura Bravo-Sánchez, Alejandro Lozano, Sanket Rajan Gupte, Jesus G. Galaz-Montoya, Yuhui Zhang, Yuchang Su, Disha Bhowmik, Zachary Coman, Sarina M. Hasan, Alexandra Johannesson, William D. Leineweber, Malvika G Nair, Ridhi Yarlagadda, Connor Zuraski, Wah Chiu, Sarah Cohen, Jan N. Hansen, Manuel D Leonetti, Chad Liu, Emma Lundberg, Serena Yeung-Levy

cs.AI

Resumen

La investigación científica exige un razonamiento sofisticado sobre datos multimodales, un desafío especialmente prevalente en biología. A pesar de los recientes avances en modelos de lenguaje multimodal de gran escala (MLLMs) para la investigación asistida por IA, los benchmarks existentes de razonamiento multimodal solo abordan dificultades de nivel universitario, mientras que los benchmarks de nivel investigativo enfatizan la percepción de bajo nivel, quedándose cortos frente al razonamiento multimodal complejo necesario para el descubrimiento científico. Para cerrar esta brecha, presentamos MicroVQA, un benchmark de respuesta a preguntas visuales (VQA) diseñado para evaluar tres capacidades de razonamiento cruciales en los flujos de trabajo de investigación: comprensión experta de imágenes, generación de hipótesis y propuesta de experimentos. MicroVQA consta de 1.042 preguntas de opción múltiple (MCQs) curadas por expertos en biología en diversas modalidades de microscopía, asegurando que las muestras de VQA representen prácticas científicas reales. Al construir el benchmark, descubrimos que los métodos estándar de generación de MCQs inducen atajos lingüísticos, lo que motiva un nuevo pipeline de dos etapas: un prompt optimizado para LLM estructura pares pregunta-respuesta en MCQs; luego, un agente basado en `RefineBot' los actualiza para eliminar los atajos. La evaluación en MLLMs de última generación revela un rendimiento máximo del 53%; los modelos con LLMs más pequeños solo tienen un rendimiento ligeramente inferior a los mejores modelos, sugiriendo que el razonamiento basado en lenguaje es menos desafiante que el razonamiento multimodal; y el ajuste con artículos científicos mejora el rendimiento. El análisis experto de las respuestas de cadena de pensamiento muestra que los errores de percepción son los más frecuentes, seguidos por errores de conocimiento y luego por errores de sobre generalización. Estas ideas destacan los desafíos en el razonamiento científico multimodal, demostrando que MicroVQA es un recurso valioso para avanzar en la investigación biomédica impulsada por IA. MicroVQA está disponible en https://huggingface.co/datasets/jmhb/microvqa, y la página del proyecto en https://jmhb0.github.io/microvqa.

English

Scientific research demands sophisticated reasoning over multimodal data, a challenge especially prevalent in biology. Despite recent advances in multimodal large language models (MLLMs) for AI-assisted research, existing multimodal reasoning benchmarks only target up to college-level difficulty, while research-level benchmarks emphasize lower-level perception, falling short of the complex multimodal reasoning needed for scientific discovery. To bridge this gap, we introduce MicroVQA, a visual-question answering (VQA) benchmark designed to assess three reasoning capabilities vital in research workflows: expert image understanding, hypothesis generation, and experiment proposal. MicroVQA consists of 1,042 multiple-choice questions (MCQs) curated by biology experts across diverse microscopy modalities, ensuring VQA samples represent real scientific practice. In constructing the benchmark, we find that standard MCQ generation methods induce language shortcuts, motivating a new two-stage pipeline: an optimized LLM prompt structures question-answer pairs into MCQs; then, an agent-based `RefineBot' updates them to remove shortcuts. Benchmarking on state-of-the-art MLLMs reveal a peak performance of 53\%; models with smaller LLMs only slightly underperform top models, suggesting that language-based reasoning is less challenging than multimodal reasoning; and tuning with scientific articles enhances performance. Expert analysis of chain-of-thought responses shows that perception errors are the most frequent, followed by knowledge errors and then overgeneralization errors. These insights highlight the challenges in multimodal scientific reasoning, showing MicroVQA is a valuable resource advancing AI-driven biomedical research. MicroVQA is available at https://huggingface.co/datasets/jmhb/microvqa, and project page at https://jmhb0.github.io/microvqa.