Une enquête exhaustive des architectures Mamba pour l'analyse d'images médicales : classification, segmentation, restauration et au-delà.

A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond

October 3, 2024

Auteurs: Shubhi Bansal, Sreeharish A, Madhava Prasath J, Manikandan S, Sreekanth Madisetty, Mohammad Zia Ur Rehman, Chandravardhan Singh Raghaw, Gaurav Duggal, Nagendra Kumar

cs.AI

Résumé

Mamba, un cas particulier du Modèle d'Espace d'États, gagne en popularité en tant qu'alternative aux approches d'apprentissage profond basées sur des modèles dans l'analyse d'images médicales. Bien que les transformeurs soient des architectures puissantes, ils présentent des inconvénients, notamment une complexité computationnelle quadratique et une incapacité à traiter efficacement les dépendances à longue distance. Cette limitation affecte l'analyse de grands ensembles de données complexes en imagerie médicale, où de nombreuses relations spatiales et temporelles existent. En revanche, Mamba offre des avantages qui le rendent bien adapté à l'analyse d'images médicales. Il a une complexité temporelle linéaire, ce qui constitue une amélioration significative par rapport aux transformeurs. Mamba traite des séquences plus longues sans mécanismes d'attention, permettant une inférence plus rapide et nécessitant moins de mémoire. Mamba démontre également de bonnes performances dans la fusion de données multimodales, améliorant la précision du diagnostic et les résultats des patients. L'organisation de cet article permet aux lecteurs d'apprécier les capacités de Mamba dans l'imagerie médicale étape par étape. Nous commençons par définir les concepts fondamentaux des Modèles d'Espace d'États et des modèles, y compris S4, S5 et S6, suivi d'une exploration des architectures de Mamba telles que Mamba pur, les variantes U-Net et les modèles hybrides avec des réseaux neuronaux convolutionnels, des transformeurs et des Réseaux Neuronaux Graphiques. Nous abordons également les optimisations, techniques et adaptations de Mamba, la numérisation, les ensembles de données, les applications, les résultats expérimentaux, et concluons par ses défis et orientations futures en imagerie médicale. Cette revue vise à démontrer le potentiel transformateur de Mamba pour surmonter les barrières existantes en imagerie médicale tout en ouvrant la voie à des avancées innovantes dans le domaine. Une liste complète des architectures de Mamba appliquées dans le domaine médical, examinée dans ce travail, est disponible sur Github.

English

Mamba, a special case of the State Space Model, is gaining popularity as an alternative to template-based deep learning approaches in medical image analysis. While transformers are powerful architectures, they have drawbacks, including quadratic computational complexity and an inability to address long-range dependencies efficiently. This limitation affects the analysis of large and complex datasets in medical imaging, where there are many spatial and temporal relationships. In contrast, Mamba offers benefits that make it well-suited for medical image analysis. It has linear time complexity, which is a significant improvement over transformers. Mamba processes longer sequences without attention mechanisms, enabling faster inference and requiring less memory. Mamba also demonstrates strong performance in merging multimodal data, improving diagnosis accuracy and patient outcomes. The organization of this paper allows readers to appreciate the capabilities of Mamba in medical imaging step by step. We begin by defining core concepts of SSMs and models, including S4, S5, and S6, followed by an exploration of Mamba architectures such as pure Mamba, U-Net variants, and hybrid models with convolutional neural networks, transformers, and Graph Neural Networks. We also cover Mamba optimizations, techniques and adaptations, scanning, datasets, applications, experimental results, and conclude with its challenges and future directions in medical imaging. This review aims to demonstrate the transformative potential of Mamba in overcoming existing barriers within medical imaging while paving the way for innovative advancements in the field. A comprehensive list of Mamba architectures applied in the medical field, reviewed in this work, is available at Github.