豊富な臨床コンテキストを備えた自動構造化放射線レポート生成

要旨

胸部X線画像からの自動構造化レポート生成（SRRG）は、明瞭さ、一貫性、臨床報告基準への準拠を確保する構造化フォーマットでレポートを生成することにより、放射線科医の負担を大幅に軽減する可能性を秘めています。放射線科医は診断推論において利用可能な臨床文脈を効果的に活用しますが、既存のSRRGシステムはこれらの重要な要素を見落としています。この根本的なギャップは、存在しない臨床文脈を参照する際の時間的な幻覚を含む重大な問題を引き起こします。これらの制限に対処するため、我々はSRRGに豊富な臨床文脈を包括的に取り入れた文脈化SRRG（C-SRRG）を提案します。我々は、1）多視点X線画像、2）臨床的適応症、3）画像技術、4）患者の病歴に基づく過去の研究とその比較を含む包括的な臨床文脈を統合することで、C-SRRGデータセットをキュレーションしました。最先端のマルチモーダル大規模言語モデルを用いた広範なベンチマークを通じて、提案するC-SRRGに臨床文脈を組み込むことでレポート生成の品質が大幅に向上することを実証しました。我々は、臨床に沿った自動RRGの将来の研究を促進するため、データセット、コード、チェックポイントをhttps://github.com/vuno/contextualized-srrgで公開します。

English

Automated structured radiology report generation (SRRG) from chest X-ray images offers significant potential to reduce workload of radiologists by generating reports in structured formats that ensure clarity, consistency, and adherence to clinical reporting standards. While radiologists effectively utilize available clinical contexts in their diagnostic reasoning, existing SRRG systems overlook these essential elements. This fundamental gap leads to critical problems including temporal hallucinations when referencing non-existent clinical contexts. To address these limitations, we propose contextualized SRRG (C-SRRG) that comprehensively incorporates rich clinical context for SRRG. We curate C-SRRG dataset by integrating comprehensive clinical context encompassing 1) multi-view X-ray images, 2) clinical indication, 3) imaging techniques, and 4) prior studies with corresponding comparisons based on patient histories. Through extensive benchmarking with state-of-the-art multimodal large language models, we demonstrate that incorporating clinical context with the proposed C-SRRG significantly improves report generation quality. We publicly release dataset, code, and checkpoints to facilitate future research for clinically-aligned automated RRG at https://github.com/vuno/contextualized-srrg.

豊富な臨床コンテキストを備えた自動構造化放射線レポート生成

Automated Structured Radiology Report Generation with Rich Clinical Context

要旨

Support