AtomiMed: 普遍的な臨床認識を備えた医療報告書評価のための階層的アトミック事実確認

要旨

医療レポート生成（MRG）の従来の評価指標は、主に単純なn-gramの重複に依存しており、臨床的事実の正確性を捉えられず、しばしば重大な診断エラーを見落とします。我々はこの根本的な限界に対処するため、AtomiMedを提案します。AtomiMedは、モダリティに依存しない普遍的な評価フレームワークであり、複雑な医療記述を、疾患レベルのエンティティと位置・形態・重症度などの属性レベルの記述子を含む標準化された多階層の「原子臨床事実（Atomic Clinical Facts）」に分解します。正解レポートと予測レポート間でエージェント型相互検証ループを実装することにより、AtomiMedは複数の放射線科医によるピアレビュープロセスをシミュレートして臨床的一貫性を検証し、診断検出と記述精度を分離して評価することを可能にします。標準化された評価を促進するため、自動階層抽出のためのオープンソースツールキットMRGEvalKitを導入し、X線、CT、MRI、超音波を網羅する包括的なマルチモーダルベンチマークOmniMRG-Benchをキュレーションします。複数の専門家アノテーション付きリーダー研究による広範な実験により、AtomiMedは従来の指標やモデルベースの指標と比較して、人間の放射線科医の判断との相関が有意に高いことが実証されました。コードは https://github.com/Venn2336/MRGEvalkit で公開しています。

English

Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit