AtomiMed : Vérification hiérarchique des faits atomiques pour une évaluation universelle de rapports médicaux tenant compte du contexte clinique

Résumé

Les métriques traditionnelles pour la génération de rapports médicaux (MRG) reposent principalement sur le recouvrement superficiel de n-grammes, ce qui ne parvient pas à capturer l'exactitude factuelle clinique et néglige souvent les erreurs de diagnostic catastrophiques. Nous répondons à cette limitation fondamentale en proposant AtomiMed, un cadre d'évaluation universel, indépendant de la modalité, qui décompose les récits médicaux complexes en une hiérarchie standardisée à plusieurs niveaux de faits cliniques atomiques, englobant les entités au niveau des maladies et les descripteurs au niveau des attributs, y compris la localisation, la morphologie et la sévérité. En mettant en œuvre une boucle de vérification croisée agentive entre les rapports de référence et les rapports prédits, AtomiMed simule un processus d'évaluation par les pairs multi-radiologue pour vérifier la cohérence clinique, permettant ainsi une évaluation découplée de la détection diagnostique et de la précision descriptive. Pour faciliter l'évaluation standardisée, nous introduisons MRGEvalKit, une boîte à outils open source pour l'extraction hiérarchique automatisée, et nous organisons OmniMRG-Bench, un benchmark multimodal complet couvrant la radiographie, la tomodensitométrie, l'IRM et l'échographie. Des expériences approfondies sur plusieurs études de lecture annotées par des experts démontrent qu'AtomiMed atteint une corrélation significativement plus élevée avec le jugement des radiologues humains par rapport aux métriques traditionnelles et basées sur des modèles. Notre code est publié à l'adresse https://github.com/Venn2336/MRGEvalkit.

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit