AtomiMed: Verificación Jerárquica de Hechos Atómicos para la Evaluación Universal de Informes Médicos con Conciencia Clínica

Resumen

Las métricas tradicionales para la Generación de Informes Médicos (GIM) se basan predominantemente en la superposición de n-gramas a nivel superficial, lo que no logra capturar la precisión clínica factual y a menudo pasa por alto errores diagnósticos catastróficos. Abordamos esta limitación fundamental proponiendo AtomiMed, un marco de evaluación universal e independiente de la modalidad que descompone narrativas médicas complejas en una jerarquía estandarizada de múltiples niveles de Hechos Clínicos Atómicos, que abarca entidades a nivel de enfermedad y descriptores a nivel de atributo, incluyendo localización, morfología y gravedad. Mediante la implementación de un bucle de verificación cruzada agente entre los informes de referencia y los predichos, AtomiMed simula un proceso de revisión por pares de múltiples radiólogos para verificar la consistencia clínica, permitiendo así la evaluación desacoplada de la detección diagnóstica y la precisión descriptiva. Para facilitar una evaluación estandarizada, presentamos MRGEvalKit, un conjunto de herramientas de código abierto para la extracción jerárquica automatizada, y curamos OmniMRG-Bench, un punto de referencia multimodal integral que cubre rayos X, TC, RM y ecografía. Experimentos exhaustivos en múltiples estudios de lectores anotados por expertos demuestran que AtomiMed logra una correlación significativamente mayor con el juicio de radiólogos humanos en comparación con métricas tradicionales y basadas en modelos. Nuestro código está disponible en https://github.com/Venn2336/MRGEvalkit.

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit