ORID: Marco de trabajo impulsado por la información de órganos y regiones para la generación de informes de radiología

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Autores: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Resumen

El objetivo de la Generación de Informes de Radiología (GIR) es generar automáticamente análisis textuales coherentes de enfermedades basados en imágenes radiológicas, aliviando así la carga de trabajo de los radiólogos. Los métodos actuales basados en IA para la GIR se centran principalmente en modificaciones a la arquitectura del modelo codificador-decodificador. Para avanzar en estos enfoques, este documento introduce un marco de Información Dirigida por Región de Órganos (ORID) que puede integrar efectivamente información multimodal y reducir la influencia del ruido de órganos no relacionados. Específicamente, basándonos en el LLaVA-Med, primero construimos un conjunto de datos de instrucciones relacionadas con la GIR para mejorar la capacidad de descripción del diagnóstico regional de órganos y obtener el LLaVA-Med-GIR. Posteriormente, proponemos un módulo de fusión cruzada basado en órganos para combinar efectivamente la información de la descripción del diagnóstico regional de órganos y la imagen radiológica. Para reducir aún más la influencia del ruido de órganos no relacionados en la generación de informes de radiología, introducimos un módulo de análisis de coeficientes de importancia de órganos, que aprovecha la Red Neural de Grafos (RNG) para examinar las interconexiones de la información cruzada de cada región de órganos. Experimentos extensos y comparaciones con métodos de última generación en diversas métricas de evaluación demuestran el rendimiento superior de nuestro método propuesto.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.