CRISP-SAM2: SAM2 com Interação Multimodal e Prompting Semântico para Segmentação de Múltiplos Órgãos

CRISP-SAM2: SAM2 with Cross-Modal Interaction and Semantic Prompting for Multi-Organ Segmentation

June 29, 2025

Autores: Xinlei Yu, Chanmiao Wang, Hui Jin, Ahmed Elazab, Gangyong Jia, Xiang Wan, Changqing Zou, Ruiquan Ge

cs.AI

Resumo

A segmentação médica de múltiplos órgãos é um componente crucial do processamento de imagens médicas, essencial para que os médicos realizem diagnósticos precisos e desenvolvam planos de tratamento eficazes. Apesar dos avanços significativos nessa área, os modelos atuais de segmentação de múltiplos órgãos frequentemente apresentam detalhes imprecisos, dependência de prompts geométricos e perda de informações espaciais. Para enfrentar esses desafios, introduzimos um novo modelo chamado CRISP-SAM2, baseado em Interação Cruzada e Prompt Semântico, fundamentado no SAM2. Esse modelo representa uma abordagem promissora para a segmentação médica de múltiplos órgãos guiada por descrições textuais dos órgãos. Nosso método começa convertendo entradas visuais e textuais em semânticas contextualizadas cruzadas usando um mecanismo progressivo de interação de atenção cruzada. Essas semânticas são então injetadas no codificador de imagem para aprimorar a compreensão detalhada das informações visuais. Para eliminar a dependência de prompts geométricos, utilizamos uma estratégia de prompt semântico, substituindo o codificador de prompt original para aguçar a percepção de alvos desafiadores. Além disso, uma estratégia de auto-atualização por classificação de similaridade para memória e um processo de refinamento de máscara são aplicados para se adaptar melhor às imagens médicas e aprimorar os detalhes localizados. Experimentos comparativos realizados em sete conjuntos de dados públicos indicam que o CRISP-SAM2 supera os modelos existentes. Análises extensas também demonstram a eficácia do nosso método, confirmando seu desempenho superior, especialmente ao abordar as limitações mencionadas anteriormente. Nosso código está disponível em: https://github.com/YU-deep/CRISP\_SAM2.git.

English

Multi-organ medical segmentation is a crucial component of medical image processing, essential for doctors to make accurate diagnoses and develop effective treatment plans. Despite significant progress in this field, current multi-organ segmentation models often suffer from inaccurate details, dependence on geometric prompts and loss of spatial information. Addressing these challenges, we introduce a novel model named CRISP-SAM2 with CRoss-modal Interaction and Semantic Prompting based on SAM2. This model represents a promising approach to multi-organ medical segmentation guided by textual descriptions of organs. Our method begins by converting visual and textual inputs into cross-modal contextualized semantics using a progressive cross-attention interaction mechanism. These semantics are then injected into the image encoder to enhance the detailed understanding of visual information. To eliminate reliance on geometric prompts, we use a semantic prompting strategy, replacing the original prompt encoder to sharpen the perception of challenging targets. In addition, a similarity-sorting self-updating strategy for memory and a mask-refining process is applied to further adapt to medical imaging and enhance localized details. Comparative experiments conducted on seven public datasets indicate that CRISP-SAM2 outperforms existing models. Extensive analysis also demonstrates the effectiveness of our method, thereby confirming its superior performance, especially in addressing the limitations mentioned earlier. Our code is available at: https://github.com/YU-deep/CRISP\_SAM2.git.