MedVLSynther: Síntesis de Preguntas y Respuestas Visuales de Alta Calidad a partir de Documentos Médicos con LMMs Generador-Verificador
MedVLSynther: Synthesizing High-Quality Visual Question Answering from Medical Documents with Generator-Verifier LMMs
October 29, 2025
Autores: Xiaoke Huang, Ningsen Wang, Hui Liu, Xianfeng Tang, Yuyin Zhou
cs.AI
Resumen
Los Modelos Multimodales Grandes (LMMs) son cada vez más capaces de responder preguntas médicas que requieren razonamiento conjunto sobre imágenes y texto, sin embargo, el entrenamiento de sistemas generales de VQA médica se ve obstaculizado por la falta de grandes corpus de alta calidad y de uso abierto. Presentamos MedVLSynther, un marco generador-verificador guiado por rúbrica que sintetiza ítems de VQA de opción múltiple de alta calidad directamente a partir de la literatura biomédica abierta, condicionando sobre figuras, leyendas y referencias en el texto. El generador produce enunciados autocontenidos y opciones paralelas, mutuamente excluyentes, bajo un esquema JSON comprobable por máquina; un verificador multietapa aplica compuertas esenciales (autocontención, respuesta correcta única, validez clínica, consistencia imagen-texto), otorga puntos positivos de granularidad fina y penaliza modos de fallo comunes antes de la aceptación. La aplicación de este pipeline a PubMed Central produce MedSynVQA: 13,087 preguntas auditadas sobre 14,803 imágenes que abarcan 13 modalidades de imagen y 28 regiones anatómicas. El entrenamiento de LMMs de pesos abiertos con aprendizaje por refuerzo utilizando recompensas verificables mejora la precisión en seis benchmarks de VQA médica, logrando promedios de 55.85 (3B) y 58.15 (7B), con hasta 77.57 en VQA-RAD y 67.76 en PathVQA, superando a LMMs médicos robustos. Las ablaciones verifican que tanto la generación como la verificación son necesarias y que más datos verificados ayudan consistentemente, y un análisis de contaminación dirigido no detecta filtración de los conjuntos de evaluación. Al operar completamente sobre literatura abierta y modelos de pesos abiertos, MedVLSynther ofrece una ruta auditable, reproducible y que preserva la privacidad hacia datos de entrenamiento de VQA médica escalables.
English
Large Multimodal Models (LMMs) are increasingly capable of answering medical
questions that require joint reasoning over images and text, yet training
general medical VQA systems is impeded by the lack of large, openly usable,
high-quality corpora. We present MedVLSynther, a rubric-guided
generator-verifier framework that synthesizes high-quality multiple-choice VQA
items directly from open biomedical literature by conditioning on figures,
captions, and in-text references. The generator produces self-contained stems
and parallel, mutually exclusive options under a machine-checkable JSON schema;
a multi-stage verifier enforces essential gates (self-containment, single
correct answer, clinical validity, image-text consistency), awards fine-grained
positive points, and penalizes common failure modes before acceptance. Applying
this pipeline to PubMed Central yields MedSynVQA: 13,087 audited questions over
14,803 images spanning 13 imaging modalities and 28 anatomical regions.
Training open-weight LMMs with reinforcement learning using verifiable rewards
improves accuracy across six medical VQA benchmarks, achieving averages of
55.85 (3B) and 58.15 (7B), with up to 77.57 on VQA-RAD and 67.76 on PathVQA,
outperforming strong medical LMMs. A Ablations verify that both generation and
verification are necessary and that more verified data consistently helps, and
a targeted contamination analysis detects no leakage from evaluation suites. By
operating entirely on open literature and open-weight models, MedVLSynther
offers an auditable, reproducible, and privacy-preserving path to scalable
medical VQA training data.