AtomiMed: Hierarchische atomare Faktenprüfung zur universellen klinisch-bewussten Bewertung medizinischer Berichte

Zusammenfassung

Traditionelle Metriken für die Erstellung medizinischer Berichte (Medical Report Generation, MRG) stützen sich überwiegend auf oberflächliche N-Gramm-Überschneidungen, was die klinische faktische Genauigkeit nicht erfasst und häufig katastrophale diagnostische Fehler übersieht. Wir adressieren diese grundlegende Einschränkung, indem wir AtomiMed vorschlagen – ein universelles, modalitätsunabhängiges Evaluierungsframework, das komplexe medizinische Erzählungen in eine standardisierte, mehrstufige Hierarchie atomarer klinischer Fakten (Atomic Clinical Facts) zerlegt, die Entitäten auf Krankheitsebene (Disease-level) sowie Attribute auf Merkmalsebene (Attribute-level) wie Lokalisation, Morphologie und Schweregrad umfasst. Durch die Implementierung einer agentischen Kreuzverifizierungsschleife (Agentic Cross-Verification Loop) zwischen Ground-Truth- und vorhergesagten Berichten simuliert AtomiMed einen Peer-Review-Prozess mehrerer Radiologen zur Überprüfung der klinischen Konsistenz und ermöglicht so die entkoppelte Bewertung von diagnostischer Detektion und deskriptiver Genauigkeit. Zur standardisierten Evaluierung führen wir MRGEvalKit ein, ein Open-Source-Toolkit für die automatisierte hierarchische Extraktion, und kuratieren OmniMRG-Bench, einen umfassenden multimodalen Benchmark, der Röntgen, CT, MRT und Ultraschall abdeckt. Umfangreiche Experimente mit mehreren Experten-annotierten Leserstudien zeigen, dass AtomiMed im Vergleich zu traditionellen und modellbasierten Metriken eine signifikant höhere Korrelation mit der Beurteilung durch menschliche Radiologen erreicht. Unser Code ist unter https://github.com/Venn2336/MRGEvalkit veröffentlicht.

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit