CRISP-SAM2：クロスモーダル相互作用とセマンティックプロンプティングを備えたSAM2による多臓器セグメンテーション

要旨

多臓器医療セグメンテーションは、医療画像処理において重要な要素であり、医師が正確な診断を行い、効果的な治療計画を立てるために不可欠である。この分野では大きな進展が見られるものの、現在の多臓器セグメンテーションモデルは、詳細の不正確さ、幾何学的プロンプトへの依存、および空間情報の喪失といった課題を抱えている。これらの課題に対処するため、我々はCRISP-SAM2という新しいモデルを提案する。このモデルは、SAM2に基づくクロスモーダルインタラクションとセマンティックプロンプティングを特徴とし、臓器のテキスト記述に基づく多臓器医療セグメンテーションの有望なアプローチを提供する。我々の手法では、まず視覚的およびテキスト的入力を、段階的なクロスアテンションインタラクションメカニズムを用いてクロスモーダルな文脈化されたセマンティクスに変換する。これらのセマンティクスは、画像エンコーダに注入され、視覚情報の詳細な理解を強化する。幾何学的プロンプトへの依存を排除するため、セマンティックプロンプティング戦略を用い、元のプロンプトエンコーダを置き換えて、困難なターゲットの認識を鋭敏にする。さらに、メモリの類似性ソート自己更新戦略とマスク精緻化プロセスを適用し、医療画像に適応し、局所的な詳細を強化する。7つの公開データセットで実施した比較実験の結果、CRISP-SAM2は既存のモデルを上回る性能を示した。詳細な分析により、我々の手法の有効性が実証され、特に前述の制限に対処する点で優れた性能を確認した。我々のコードは以下で公開されている：https://github.com/YU-deep/CRISP\_SAM2.git。

English

Multi-organ medical segmentation is a crucial component of medical image processing, essential for doctors to make accurate diagnoses and develop effective treatment plans. Despite significant progress in this field, current multi-organ segmentation models often suffer from inaccurate details, dependence on geometric prompts and loss of spatial information. Addressing these challenges, we introduce a novel model named CRISP-SAM2 with CRoss-modal Interaction and Semantic Prompting based on SAM2. This model represents a promising approach to multi-organ medical segmentation guided by textual descriptions of organs. Our method begins by converting visual and textual inputs into cross-modal contextualized semantics using a progressive cross-attention interaction mechanism. These semantics are then injected into the image encoder to enhance the detailed understanding of visual information. To eliminate reliance on geometric prompts, we use a semantic prompting strategy, replacing the original prompt encoder to sharpen the perception of challenging targets. In addition, a similarity-sorting self-updating strategy for memory and a mask-refining process is applied to further adapt to medical imaging and enhance localized details. Comparative experiments conducted on seven public datasets indicate that CRISP-SAM2 outperforms existing models. Extensive analysis also demonstrates the effectiveness of our method, thereby confirming its superior performance, especially in addressing the limitations mentioned earlier. Our code is available at: https://github.com/YU-deep/CRISP\_SAM2.git.

CRISP-SAM2：クロスモーダル相互作用とセマンティックプロンプティングを備えたSAM2による多臓器セグメンテーション

CRISP-SAM2: SAM2 with Cross-Modal Interaction and Semantic Prompting for Multi-Organ Segmentation

要旨

Support