ORID: Estrutura Orientada por Informações de Órgãos-Regionais para Geração de Relatórios Radiológicos

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Autores: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Resumo

O objetivo da Geração de Relatórios de Radiologia (GRR) é gerar automaticamente análises textuais coerentes de doenças com base em imagens radiológicas, aliviando assim a carga de trabalho dos radiologistas. Os métodos atuais baseados em IA para GRR concentram-se principalmente em modificações na arquitetura do modelo codificador-decodificador. Para avançar nesses enfoques, este artigo apresenta um framework Orientado por Informações Organ-Regionais (ORID) que pode integrar efetivamente informações multimodais e reduzir a influência de ruídos de órgãos não relacionados. Especificamente, com base no LLaVA-Med, primeiro construímos um conjunto de dados de instruções relacionadas à GRR para melhorar a capacidade de descrição do diagnóstico regional do órgão e obter o LLaVA-Med-GRR. Em seguida, propomos um módulo de fusão cruzada baseado em órgãos para combinar efetivamente as informações da descrição do diagnóstico regional do órgão e da imagem radiológica. Para reduzir ainda mais a influência de ruídos de órgãos não relacionados na geração de relatórios de radiologia, introduzimos um módulo de análise de coeficiente de importância do órgão, que utiliza a Rede Neural de Grafos (RNG) para examinar as interconexões das informações cruzadas de cada região do órgão. Experimentos extensos e comparações com métodos de ponta em várias métricas de avaliação demonstram o desempenho superior do nosso método proposto.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.