MedVLSynther: Sintesi di Domande e Risposte Visive di Alta Qualità da Documenti Medici con LMM Generatore-Verificatore

MedVLSynther: Synthesizing High-Quality Visual Question Answering from Medical Documents with Generator-Verifier LMMs

October 29, 2025

Autori: Xiaoke Huang, Ningsen Wang, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Abstract

I Large Multimodal Models (LMM) stanno diventando sempre più capaci di rispondere a domande mediche che richiedono un ragionamento congiunto su immagini e testo, eppure l'addestramento di sistemi generali di VQA (Visual Question Answering) medico è ostacolato dalla mancanza di corpora ampi, di alta qualità e di uso aperto. Presentiamo MedVLSynther, un framework generatore-verifica guidato da rubriche che sintetizza elementi di VQA a scelta multipla di alta qualità direttamente dalla letteratura biomedica aperta, basandosi su figure, didascalie e riferimenti testuali. Il generatore produce domande auto-consistenti e opzioni parallele e mutualmente esclusive secondo uno schema JSON verificabile automaticamente; un verificatore multi-stadio applica controlli essenziali (auto-consistenza, singola risposta corretta, validità clinica, coerenza immagine-testo), assegna punteggi positivi granulari e penalizza le modalità di errore comuni prima dell'accettazione. L'applicazione di questa pipeline a PubMed Central produce MedSynVQA: 13.087 domande verificate su 14.803 immagini che coprono 13 modalità di imaging e 28 regioni anatomiche. L'addestramento di LMM a peso aperto con apprendimento per rinforzo, utilizzando ricompense verificabili, migliora l'accuratezza su sei benchmark di VQA medico, raggiungendo medie di 55,85 (3B) e 58,15 (7B), con punte fino a 77,57 su VQA-RAD e 67,76 su PathVQA, superando LMM medici robusti. Le ablazioni verificano che sia la generazione che la verifica sono necessarie e che più dati verificati aiutano costantemente, mentre un'analisi mirata della contaminazione non rileva dispersioni dai set di valutazione. Operando interamente su letteratura aperta e modelli a peso aperto, MedVLSynther offre un percorso verificabile, riproducibile e che preserva la privacy per dati di addestramento scalabili per il VQA medico.

English

Large Multimodal Models (LMMs) are increasingly capable of answering medical questions that require joint reasoning over images and text, yet training general medical VQA systems is impeded by the lack of large, openly usable, high-quality corpora. We present MedVLSynther, a rubric-guided generator-verifier framework that synthesizes high-quality multiple-choice VQA items directly from open biomedical literature by conditioning on figures, captions, and in-text references. The generator produces self-contained stems and parallel, mutually exclusive options under a machine-checkable JSON schema; a multi-stage verifier enforces essential gates (self-containment, single correct answer, clinical validity, image-text consistency), awards fine-grained positive points, and penalizes common failure modes before acceptance. Applying this pipeline to PubMed Central yields MedSynVQA: 13,087 audited questions over 14,803 images spanning 13 imaging modalities and 28 anatomical regions. Training open-weight LMMs with reinforcement learning using verifiable rewards improves accuracy across six medical VQA benchmarks, achieving averages of 55.85 (3B) and 58.15 (7B), with up to 77.57 on VQA-RAD and 67.76 on PathVQA, outperforming strong medical LMMs. A Ablations verify that both generation and verification are necessary and that more verified data consistently helps, and a targeted contamination analysis detects no leakage from evaluation suites. By operating entirely on open literature and open-weight models, MedVLSynther offers an auditable, reproducible, and privacy-preserving path to scalable medical VQA training data.