医用画像解析のためのマンバアーキテクチャに関する包括的調査：分類、セグメンテーション、復元、さらにその先

A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond

October 3, 2024

著者: Shubhi Bansal, Sreeharish A, Madhava Prasath J, Manikandan S, Sreekanth Madisetty, Mohammad Zia Ur Rehman, Chandravardhan Singh Raghaw, Gaurav Duggal, Nagendra Kumar

cs.AI

要旨

Mambaは、State Space Modelの特殊なケースであり、医用画像解析においてテンプレートベースの深層学習アプローチの代替手段として人気を集めています。Transformerは強力なアーキテクチャですが、二次計算量の複雑さや長距離依存関係を効率的に扱えないという欠点があります。この制限は、医用画像の大規模で複雑なデータセットの解析に影響を与えます。ここでは、多くの空間的および時間的関係が存在するため、Mambaが医用画像解析に適しているとされる利点があります。Mambaは、Transformerよりも大幅に改善された線形時間計算量を持ちます。Mambaは、アテンションメカニズムを使用せずにより長いシーケンスを処理し、より高速な推論を可能にし、より少ないメモリを必要とします。Mambaは、多モーダルデータの統合において強力なパフォーマンスを示し、診断の精度と患者の結果を改善します。本論文の構成により、読者は医用画像におけるMambaの能力を段階的に理解することができます。SSMおよびS4、S5、S6を含むモデルの中核概念の定義から始め、純粋なMamba、U-Netの変種、畳み込みニューラルネットワーク、Transformer、Graph Neural NetworksとのハイブリッドモデルなどのMambaアーキテクチャの探索を行います。また、Mambaの最適化、技術、適応、スキャン、データセット、アプリケーション、実験結果について取り上げ、医用画像におけるMambaの課題と将来の方向性について締めくくります。このレビューは、医用画像分野における既存の障壁を乗り越えるMambaの変革的な可能性を示し、分野の革新的な進展の道を開くことを目指しています。本研究で検討された医療分野でのMambaアーキテクチャの包括的なリストは、Githubで入手可能です。

English

Mamba, a special case of the State Space Model, is gaining popularity as an alternative to template-based deep learning approaches in medical image analysis. While transformers are powerful architectures, they have drawbacks, including quadratic computational complexity and an inability to address long-range dependencies efficiently. This limitation affects the analysis of large and complex datasets in medical imaging, where there are many spatial and temporal relationships. In contrast, Mamba offers benefits that make it well-suited for medical image analysis. It has linear time complexity, which is a significant improvement over transformers. Mamba processes longer sequences without attention mechanisms, enabling faster inference and requiring less memory. Mamba also demonstrates strong performance in merging multimodal data, improving diagnosis accuracy and patient outcomes. The organization of this paper allows readers to appreciate the capabilities of Mamba in medical imaging step by step. We begin by defining core concepts of SSMs and models, including S4, S5, and S6, followed by an exploration of Mamba architectures such as pure Mamba, U-Net variants, and hybrid models with convolutional neural networks, transformers, and Graph Neural Networks. We also cover Mamba optimizations, techniques and adaptations, scanning, datasets, applications, experimental results, and conclude with its challenges and future directions in medical imaging. This review aims to demonstrate the transformative potential of Mamba in overcoming existing barriers within medical imaging while paving the way for innovative advancements in the field. A comprehensive list of Mamba architectures applied in the medical field, reviewed in this work, is available at Github.