MicroVQA++: Conjunto de Datos de Razonamiento Microscópico de Alta Calidad con Grafos Débilmente Supervisados para Modelos de Lenguaje Grande Multimodales

MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model

November 14, 2025

Autores: Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan

cs.AI

Resumen

Los Modelos de Lenguaje Grandes Multimodales se aplican cada vez más a la imagen biomédica, pero el razonamiento científico para microscopía sigue estando limitado por la escasez de datos de entrenamiento a gran escala y de alta calidad. Presentamos MicroVQA++, un corpus de VQA (Visual Question Answering) para microscopía de alta calidad y a gran escala, construido en tres etapas a partir del archivo BIOMEDICA. La primera etapa obtiene supervisión a partir de pares figura-leyenda validados por expertos y extraídos de artículos revisados por pares. La segunda etapa aplica HiCQA-Graph, un novedoso grafo heterogéneo sobre imágenes, leyendas y pares pregunta-respuesta (QA) que fusiona entailment textual basado en NLI (Inferencia en Lenguaje Natural), alineación visión-lenguaje basada en CLIP y señales de agentes para identificar y filtrar muestras inconsistentes. La tercera etapa utiliza un agente de Modelo de Lenguaje Grande Multimodal (MLLM) para generar preguntas de opción múltiple (MCQ), seguidas de una revisión humana. La versión resultante comprende un gran conjunto de entrenamiento y un conjunto de prueba revisado por humanos, cuya distribución de muestras difíciles según el nivel de Bloom supera al benchmark MicroVQA. Nuestro trabajo aporta (i) un conjunto de datos con control de calidad que combina literatura experta con filtrado basado en grafos y refinamiento humano; (ii) HiCQA-Graph, el primer grafo que modela conjuntamente (imagen, leyenda, QA) para el filtrado de consistencia cross-modal; (iii) evidencia de que una construcción cuidadosa de los datos permite que MLLMs de escala 4B alcancen un rendimiento competitivo en razonamiento de microscopía (ej., comparable a GPT-5) y logren un rendimiento state-of-the-art entre los MLLMs de código abierto. El código y el conjunto de datos se publicarán una vez concluido el proceso de revisión.

English

Multimodal Large Language Models are increasingly applied to biomedical imaging, yet scientific reasoning for microscopy remains limited by the scarcity of large-scale, high-quality training data. We introduce MicroVQA++, a three-stage, large-scale and high-quality microscopy VQA corpus derived from the BIOMEDICA archive. Stage one bootstraps supervision from expert-validated figure-caption pairs sourced from peer-reviewed articles. Stage two applies HiCQA-Graph, a novel heterogeneous graph over images, captions, and QAs that fuses NLI-based textual entailment, CLIP-based vision-language alignment, and agent signals to identify and filter inconsistent samples. Stage three uses a MultiModal Large Language Model (MLLM) agent to generate multiple-choice questions (MCQ) followed by human screening. The resulting release comprises a large training split and a human-checked test split whose Bloom's level hard-sample distribution exceeds the MicroVQA benchmark. Our work delivers (i) a quality-controlled dataset that couples expert literature with graph-based filtering and human refinement; (ii) HiCQA-Graph, the first graph that jointly models (image, caption, QA) for cross-modal consistency filtering; (iii) evidence that careful data construction enables 4B-scale MLLMs to reach competitive microscopy reasoning performance (e.g., GPT-5) and achieve state-of-the-art performance among open-source MLLMs. Code and dataset will be released after the review process concludes.