MicroVQA++: высококачественный набор данных для анализа микроскопических изображений со слабо контролируемыми графами для мультимодальной большой языковой модели
MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model
November 14, 2025
Авторы: Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan
cs.AI
Аннотация
Мультимодальные большие языковые модели все чаще применяются в биомедицинской визуализации, однако развитие научных рассуждений для микроскопии по-прежнему ограничено дефицитом крупномасштабных высококачественных данных для обучения. Мы представляем MicroVQA++ — трехэтапный, крупномасштабный и высококачественный корпус вопросно-ответных данных по микроскопии, созданный на основе архива BIOMEDICA. На первом этапе формируется исходная разметка из проверенных экспертами пар «изображение-подпись», полученных из рецензируемых статей. На втором этапе применяется HiCQA-Graph — новая гетерогенная графовая структура, объединяющая изображения, подписи и вопросы-ответы, которая комбинирует текстовые entailment-отношения на основе NLI, визуально-языковое выравнивание на основе CLIP и сигналы агента для выявления и фильтрации противоречивых примеров. На третий этап использует агента на основе мультимодальной большой языковой модели (MLLM) для генерации вопросов с множественным выбором (MCQ) с последующей проверкой человеком. Результирующий выпуск включает крупный набор для обучения и проверенный человеком тестовый набор, распределение сложных примеров в котором по уровням таксономии Блума превосходит бенчмарк MicroVQA. Наша работа предоставляет: (i) контролируемый по качеству набор данных, сочетающий экспертные публикации с графовой фильтрацией и человеческой доработкой; (ii) HiCQA-Graph — первый граф, совместно моделирующий (изображение, подпись, вопрос-ответ) для кросс-модальной фильтрации на согласованность; (iii) доказательства того, что тщательное построение данных позволяет MLLM размером 4B достигать конкурентоспособной производительности в рассуждениях по микроскопии (например, с GPT-5) и устанавливать state-of-the-art результаты среди открытых MLLM. Код и набор данных будут опубликованы по завершении процесса рецензирования.
English
Multimodal Large Language Models are increasingly applied to biomedical imaging, yet scientific reasoning for microscopy remains limited by the scarcity of large-scale, high-quality training data. We introduce MicroVQA++, a three-stage, large-scale and high-quality microscopy VQA corpus derived from the BIOMEDICA archive. Stage one bootstraps supervision from expert-validated figure-caption pairs sourced from peer-reviewed articles. Stage two applies HiCQA-Graph, a novel heterogeneous graph over images, captions, and QAs that fuses NLI-based textual entailment, CLIP-based vision-language alignment, and agent signals to identify and filter inconsistent samples. Stage three uses a MultiModal Large Language Model (MLLM) agent to generate multiple-choice questions (MCQ) followed by human screening. The resulting release comprises a large training split and a human-checked test split whose Bloom's level hard-sample distribution exceeds the MicroVQA benchmark. Our work delivers (i) a quality-controlled dataset that couples expert literature with graph-based filtering and human refinement; (ii) HiCQA-Graph, the first graph that jointly models (image, caption, QA) for cross-modal consistency filtering; (iii) evidence that careful data construction enables 4B-scale MLLMs to reach competitive microscopy reasoning performance (e.g., GPT-5) and achieve state-of-the-art performance among open-source MLLMs. Code and dataset will be released after the review process concludes.