AtomiMed: 임상 인지 기반 보편적 의료 보고서 평가를 위한 계층적 원자 사실 검증

초록

의료 보고서 생성(MRG)을 위한 전통적인 평가 지표는 주로 표면적인 n-gram 중복에 의존하여 임상적 사실 정확성을 포착하지 못하고 종종 치명적인 진단 오류를 간과한다. 우리는 이러한 근본적인 한계를 해결하기 위해 AtomiMed를 제안한다. 이는 보편적이고 모달리티에 구애받지 않는 평가 프레임워크로, 복잡한 의료 내러티브를 표준화된 다단계 계층 구조의 원자적 임상 사실(Atomic Clinical Facts)로 분해하며, 여기에는 질병 수준 개체(Disease-level entities)와 위치, 형태, 중증도를 포함한 속성 수준 기술자(Attribute-level descriptors)가 포함된다. AtomiMed는 정답 보고서와 예측 보고서 간의 에이전틱 교차 검증(Agentic Cross-Verification) 루프를 구현하여 다수의 방사선 전문의가 참여하는 동료 검토 과정을 시뮬레이션함으로써 임상적 일관성을 검증하며, 이를 통해 진단 탐지와 기술 정확성을 분리하여 평가할 수 있게 한다. 표준화된 평가를 용이하게 하기 위해 우리는 자동화된 계층적 추출을 위한 오픈소스 툴킷인 MRGEvalKit을 소개하고, X-ray, CT, MRI, 초음파를 포괄하는 포괄적인 다중 모달 벤치마크인 OmniMRG-Bench를 선별한다. 여러 전문가 주석 독자 연구에 대한 광범위한 실험을 통해 AtomiMed가 전통적인 지표 및 모델 기반 지표에 비해 인간 방사선 전문의의 판단과 훨씬 더 높은 상관관계를 달성함을 입증한다. 우리의 코드는 https://github.com/Venn2336/MRGEvalkit에서 공개되었다.

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit