MicroVQA++: Hoogwaardige microscopie-redeneerdataset met zwak begeleide grafieken voor multimodale grote taalmodellen
MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model
November 14, 2025
Auteurs: Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan
cs.AI
Samenvatting
Multimodale Large Language Models worden steeds vaker toegepast op biomedische beeldvorming, maar wetenschappelijk redeneren voor microscopie wordt nog steeds beperkt door de schaarste aan grootschalige, hoogwaardige trainingsdata. Wij introduceren MicroVQA++, een drieledige, grootschalige en hoogwaardige microscopie VQA-corpus afgeleid van het BIOMEDICA-archief. Fase één bootstrapt supervisie vanuit door experts gevalideerde figuur-bijschrift-paren afkomstig uit peer-reviewed artikelen. Fase twee past HiCQA-Graph toe, een nieuwe heterogene graaf over afbeeldingen, bijschriften en V&A's die NLI-gebaseerde tekstueel gevolg, CLIP-gebaseerde visie-taal-alignering en agent-signalen fuseert om inconsistente samples te identificeren en filteren. Fase drie gebruikt een MultiModal Large Language Model (MLLM)-agent om meerkeuzevragen (MCQ) te genereren, gevolgd door menselijke screening. De resulterende release omvat een grote trainingset en een door mensen gecontroleerde testset waarvan de Bloom's niveau hard-sample-distributie de MicroVQA-benchmark overtreft. Ons werk levert (i) een kwaliteitsgecontroleerde dataset die expertliteratuur koppelt aan op grafen gebaseerde filtering en menselijke verfijning; (ii) HiCQA-Graph, de eerste graaf die (afbeelding, bijschrift, V&A) gezamenlijk modelleert voor cross-modale consistentiefiltering; (iii) bewijs dat zorgvuldige dataconstructie 4B-schaal MLLM's in staat stelt om competitieve microscopie-redeneerprestaties (bijv. GPT-5) te bereiken en state-of-the-art prestaties te behalen onder open-source MLLM's. Code en dataset worden vrijgegeven na afronding van het reviewproces.
English
Multimodal Large Language Models are increasingly applied to biomedical imaging, yet scientific reasoning for microscopy remains limited by the scarcity of large-scale, high-quality training data. We introduce MicroVQA++, a three-stage, large-scale and high-quality microscopy VQA corpus derived from the BIOMEDICA archive. Stage one bootstraps supervision from expert-validated figure-caption pairs sourced from peer-reviewed articles. Stage two applies HiCQA-Graph, a novel heterogeneous graph over images, captions, and QAs that fuses NLI-based textual entailment, CLIP-based vision-language alignment, and agent signals to identify and filter inconsistent samples. Stage three uses a MultiModal Large Language Model (MLLM) agent to generate multiple-choice questions (MCQ) followed by human screening. The resulting release comprises a large training split and a human-checked test split whose Bloom's level hard-sample distribution exceeds the MicroVQA benchmark. Our work delivers (i) a quality-controlled dataset that couples expert literature with graph-based filtering and human refinement; (ii) HiCQA-Graph, the first graph that jointly models (image, caption, QA) for cross-modal consistency filtering; (iii) evidence that careful data construction enables 4B-scale MLLMs to reach competitive microscopy reasoning performance (e.g., GPT-5) and achieve state-of-the-art performance among open-source MLLMs. Code and dataset will be released after the review process concludes.