MicroVQA++: 멀티모달 대규모 언어 모델을 위한 약한 감독 그래프 기반 고품질 현미경 추론 데이터셋

MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model

November 14, 2025

저자: Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan

cs.AI

초록

멀티모달 대규모 언어 모델(Multimodal Large Language Model)이 생체의학 영상 분야에 점차 적용되고 있으나, 현미경 영상에 대한 과학적 추론 능력은 대규모 고품질 학습 데이터의 부족으로 제한받고 있다. 본 연구에서는 BIOMICHA 아카이브에서 도출된 3단계 대규모 고품질 현미경 VQA 코퍼스인 MicroVQA++를 소개한다. 1단계에서는 동료 심사를 거친 학술 논문에서 추출한 전문가 검증 그림-설명 쌍으로부터 감독 신호를 부트스트랩한다. 2단계에서는 이미지, 설명문, 질의응답을 연결하는 새로운 이종 그래프인 HiCQA-Graph를 적용하여 NLI 기반 텍스트 함의, CLIP 기반 시각-언어 정렬, 에이전트 신호를 융합하여 불일치 샘플을 식별 및 필터링한다. 3단계에서는 멀티모달 대규모 언어 모델(MLLM) 에이전트를 사용하여 객관식 문제를 생성한 후 인간 검수를 거친다. 최종 공개 자료는 대규모 학습 분할 데이터와 인간 검수가 완료된 테스트 분할 데이터로 구성되며, 후자의 블룸 분류체계 상 난이도 높은 샘플 분포는 MicroVQA 벤치마크를 능가한다. 본 연구의 성과는 다음과 같다: (i) 전문가 문헌 자료와 그래프 기반 필터링 및 인간 정제 과정이 결합된 품질 관리 데이터셋, (ii) 크로스모달 일관성 필터링을 위해 (이미지, 설명문, 질의응답)을 통합 모델링한 최초의 그래프인 HiCQA-Graph, (iii) 신중한 데이터 구축을 통해 40억 규모 MLLM이 GPT-5 수준의 경쟁력 있는 현미경 추론 성능에 도달하고 오픈소스 MLLM 중 최고 성능을 달성할 수 있음을 입증한 증거. 코드와 데이터셋은 심사 과정 종료 후 공개될 예정이다.

English

Multimodal Large Language Models are increasingly applied to biomedical imaging, yet scientific reasoning for microscopy remains limited by the scarcity of large-scale, high-quality training data. We introduce MicroVQA++, a three-stage, large-scale and high-quality microscopy VQA corpus derived from the BIOMEDICA archive. Stage one bootstraps supervision from expert-validated figure-caption pairs sourced from peer-reviewed articles. Stage two applies HiCQA-Graph, a novel heterogeneous graph over images, captions, and QAs that fuses NLI-based textual entailment, CLIP-based vision-language alignment, and agent signals to identify and filter inconsistent samples. Stage three uses a MultiModal Large Language Model (MLLM) agent to generate multiple-choice questions (MCQ) followed by human screening. The resulting release comprises a large training split and a human-checked test split whose Bloom's level hard-sample distribution exceeds the MicroVQA benchmark. Our work delivers (i) a quality-controlled dataset that couples expert literature with graph-based filtering and human refinement; (ii) HiCQA-Graph, the first graph that jointly models (image, caption, QA) for cross-modal consistency filtering; (iii) evidence that careful data construction enables 4B-scale MLLMs to reach competitive microscopy reasoning performance (e.g., GPT-5) and achieve state-of-the-art performance among open-source MLLMs. Code and dataset will be released after the review process concludes.