MicroVQA++: Hochwertiger Mikroskopie-Begründungsdatensatz mit schwach überwachten Graphen für multimodale große Sprachmodelle
MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model
November 14, 2025
papers.authors: Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan
cs.AI
papers.abstract
Multimodale Large Language Models werden zunehmend in der biomedizinischen Bildgebung eingesetzt, doch das wissenschaftliche Reasoning in der Mikroskopie wird nach wie vor durch die Knappheit an großvolumigen, hochwertigen Trainingsdaten limitiert. Wir stellen MicroVQA++ vor, einen dreistufigen, großvolumigen und hochwertigen Mikroskopie-VQA-Korpus, der aus dem BIOMEDICA-Archiv abgeleitet wurde. Stufe eins bootstrappt die Supervision aus expertengestützten Abbildungs-Bildunterschriften-Paaren aus begutachteten Artikeln. Stufe zwei wendet HiCQA-Graph an, einen neuartigen heterogenen Graphen über Bilder, Bildunterschriften und Frage-Antwort-Paare, der NLI-basierte textuelle Inferenz, CLIP-basierte Vision-Language-Abgleichung und Agenten-Signale fusioniert, um inkonsistente Samples zu identifizieren und zu filtern. Stufe drei nutzt einen multimodalen Large Language Model (MLLM)-Agenten zur Generierung von Multiple-Choice-Fragen (MCQ), gefolgt von einer menschlichen Überprüfung. Das resultierende Release umfasst einen großen Trainings-Split und einen menschlich geprüften Test-Split, dessen Bloom-Level-Verteilung schwieriger Samples den MicroVQA-Benchmark übertrifft. Unsere Arbeit liefert (i) einen qualitätskontrollierten Datensatz, der Expertenliteratur mit graphbasierter Filterung und menschlicher Verfeinerung koppelt; (ii) HiCQA-Graph, den ersten Graphen, der (Bild, Bildunterschrift, Frage-Antwort-Paar) gemeinsam modelliert, um cross-modale Konsistenzfilterung durchzuführen; (iii) Belege dafür, dass sorgfältige Datenerstellung es 4B-skaligen MLLMs ermöglicht, wettbewerbsfähige Mikroskopie-Reasoning-Leistung (z.B. mit GPT-5 vergleichbar) zu erreichen und state-of-the-art Leistung unter Open-Source-MLLMs zu erzielen. Code und Datensatz werden nach Abschluss des Review-Prozesses veröffentlicht.
English
Multimodal Large Language Models are increasingly applied to biomedical imaging, yet scientific reasoning for microscopy remains limited by the scarcity of large-scale, high-quality training data. We introduce MicroVQA++, a three-stage, large-scale and high-quality microscopy VQA corpus derived from the BIOMEDICA archive. Stage one bootstraps supervision from expert-validated figure-caption pairs sourced from peer-reviewed articles. Stage two applies HiCQA-Graph, a novel heterogeneous graph over images, captions, and QAs that fuses NLI-based textual entailment, CLIP-based vision-language alignment, and agent signals to identify and filter inconsistent samples. Stage three uses a MultiModal Large Language Model (MLLM) agent to generate multiple-choice questions (MCQ) followed by human screening. The resulting release comprises a large training split and a human-checked test split whose Bloom's level hard-sample distribution exceeds the MicroVQA benchmark. Our work delivers (i) a quality-controlled dataset that couples expert literature with graph-based filtering and human refinement; (ii) HiCQA-Graph, the first graph that jointly models (image, caption, QA) for cross-modal consistency filtering; (iii) evidence that careful data construction enables 4B-scale MLLMs to reach competitive microscopy reasoning performance (e.g., GPT-5) and achieve state-of-the-art performance among open-source MLLMs. Code and dataset will be released after the review process concludes.