AtomiMed: Иерархическая атомарная верификация фактов для универсальной клинически осознанной оценки медицинских отчетов

Аннотация

Традиционные метрики для генерации медицинских отчетов (Medical Report Generation, MRG) в основном опираются на поверхностное совпадение n-грамм, что не позволяет оценить клиническую фактическую точность и часто упускает катастрофические диагностические ошибки. Мы устраняем это фундаментальное ограничение, предлагая AtomiMed — универсальную, не зависящую от модальности систему оценки, которая декомпозирует сложные медицинские нарративы в стандартизированную многоуровневую иерархию атомарных клинических фактов (Atomic Clinical Facts), включающую сущности уровня заболевания (Disease-level) и дескрипторы уровня атрибутов (Attribute-level), такие как локализация, морфология и тяжесть. Реализуя цикл агентной кросс-верификации (Agentic Cross-Verification) между эталонными и предсказанными отчетами, AtomiMed имитирует процесс многостороннего рецензирования радиологами для проверки клинической согласованности, что позволяет проводить раздельную оценку точности диагностического обнаружения и описания. Для обеспечения стандартизированной оценки мы представляем MRGEvalKit — инструментарий с открытым исходным кодом для автоматизированного иерархического извлечения, а также курируем OmniMRG-Bench — комплексный мультимодальный бенчмарк, охватывающий рентгенографию, КТ, МРТ и ультразвук. Обширные эксперименты на нескольких исследованиях с экспертной разметкой демонстрируют, что AtomiMed достигает значительно более высокой корреляции с оценкой человека-радиолога по сравнению с традиционными и модельно-ориентированными метриками. Наш код опубликован по адресу https://github.com/Venn2336/MRGEvalkit.

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit