MedVLSynther: Синтез высококачественных данных для визуального ответа на вопросы из медицинских документов с помощью LMM-моделей типа "Генератор-Верификатор"

MedVLSynther: Synthesizing High-Quality Visual Question Answering from Medical Documents with Generator-Verifier LMMs

October 29, 2025

Авторы: Xiaoke Huang, Ningsen Wang, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Аннотация

Крупные мультимодальные модели (LMM) демонстрируют растущую способность отвечать на медицинские вопросы, требующие совместного анализа изображений и текста, однако создание универсальных систем визуального вопросно-ответного взаимодействия (VQA) в медицине затруднено из-за отсутствия обширных, открыто доступных и качественных корпусов данных. Мы представляем MedVLSynther — рубрико-управляемую генеративно-верификационную структуру, которая синтезирует высококачественные вопросы VQA с множественным выбором непосредственно из открытой биомедицинской литературы на основе изображений, подписей к ним и текстовых ссылок. Генератор создает самодостаточные формулировки вопросов и параллельные, взаимоисключающие варианты ответов в соответствии с машиночитаемой JSON-схемой; многоэтапный верификатор обеспечивает соблюдение ключевых критериев (самодостаточность, единственно правильный ответ, клиническая достоверность, согласованность изображения и текста), начисляет баллы за соответствие детализированным позитивным аспектам и выявляет типичные ошибки перед принятием вопроса. Применение этого конвейера к PubMed Central позволило создать MedSynVQA: 13 087 проверенных вопросов для 14 803 изображений, охватывающих 13 методов визуализации и 28 анатомических областей. Обучение открытых LMM с подкреплением с использованием верифицируемых вознаграждений повышает точность на шести медицинских бенчмарках VQA, достигая в среднем 55.85 (3B) и 58.15 (7B), с максимальными показателями 77.57 на VQA-RAD и 67.76 на PathVQA, превосходя результаты сильных медицинских LMM. Абляционные исследования подтверждают необходимость как этапа генерации, так и верификации, а также стабильное улучшение результатов с увеличением объема проверенных данных; целевой анализ на контаминацию не выявил заимствований из оценочных наборов. Благодаря полной работе с открытой литературой и открытыми моделями, MedVLSynther предлагает проверяемый, воспроизводимый и обеспечивающий конфиденциальность путь к масштабируемым данным для обучения медицинских систем VQA.

English

Large Multimodal Models (LMMs) are increasingly capable of answering medical questions that require joint reasoning over images and text, yet training general medical VQA systems is impeded by the lack of large, openly usable, high-quality corpora. We present MedVLSynther, a rubric-guided generator-verifier framework that synthesizes high-quality multiple-choice VQA items directly from open biomedical literature by conditioning on figures, captions, and in-text references. The generator produces self-contained stems and parallel, mutually exclusive options under a machine-checkable JSON schema; a multi-stage verifier enforces essential gates (self-containment, single correct answer, clinical validity, image-text consistency), awards fine-grained positive points, and penalizes common failure modes before acceptance. Applying this pipeline to PubMed Central yields MedSynVQA: 13,087 audited questions over 14,803 images spanning 13 imaging modalities and 28 anatomical regions. Training open-weight LMMs with reinforcement learning using verifiable rewards improves accuracy across six medical VQA benchmarks, achieving averages of 55.85 (3B) and 58.15 (7B), with up to 77.57 on VQA-RAD and 67.76 on PathVQA, outperforming strong medical LMMs. A Ablations verify that both generation and verification are necessary and that more verified data consistently helps, and a targeted contamination analysis detects no leakage from evaluation suites. By operating entirely on open literature and open-weight models, MedVLSynther offers an auditable, reproducible, and privacy-preserving path to scalable medical VQA training data.