ORID: 放射線診断レポート生成のための臓器・部位情報駆動フレームワーク

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

著者: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

要旨

放射線学レポート生成（RRG）の目的は、放射線画像に基づいた疾患の一貫したテキスト解析を自動的に生成し、放射線科医の作業負担を軽減することです。現在のAIベースのRRG方法は、主にエンコーダーデコーダーモデルアーキテクチャの変更に焦点を当てています。これらのアプローチを進めるために、本論文では、多モーダル情報を効果的に統合し、関連のない臓器からのノイズの影響を軽減できるOrgan-Regional Information Driven（ORID）フレームワークを紹介します。具体的には、LLaVA-Medに基づいて、まずRRG関連の指示データセットを構築して臓器領域の診断記述能力を向上させ、LLaVA-Med-RRGを取得します。その後、臓器ベースのクロスモーダル融合モジュールを提案し、臓器領域の診断記述と放射線画像からの情報を効果的に組み合わせます。関連のない臓器からのノイズの影響をさらに軽減するために、臓器重要度係数解析モジュールを導入し、各臓器領域のクロスモーダル情報の相互接続を調査するためにGraph Neural Network（GNN）を活用します。幅広い実験と様々な評価メトリクスを用いた最新の手法との比較により、提案手法の優れた性能が示されています。

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.