BioMamba : Un modèle de représentation linguistique biomédicale pré-entraîné exploitant Mamba

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

August 5, 2024

Auteurs: Ling Yue, Sixue Xing, Yingzhou Lu, Tianfan Fu

cs.AI

Résumé

Le progrès du traitement automatique du langage naturel (TALN) en biologie repose sur la capacité des modèles à interpréter la littérature biomédicale complexe. Les modèles traditionnels peinent souvent à traiter le langage spécifique et complexe de ce domaine. Dans cet article, nous présentons BioMamba, un modèle pré-entraîné spécialement conçu pour l'exploration de textes biomédicaux. BioMamba s'appuie sur l'architecture Mamba et est pré-entraîné sur un vaste corpus de littérature biomédicale. Nos études empiriques montrent que BioMamba surpasse significativement des modèles comme BioBERT et Mamba généraliste sur diverses tâches biomédicales. Par exemple, BioMamba atteint une réduction de 100 fois de la perplexité et une réduction de 4 fois de la perte d'entropie croisée sur l'ensemble de test BioASQ. Nous fournissons un aperçu de l'architecture du modèle, du processus de pré-entraînement et des techniques de fine-tuning. De plus, nous publions le code et le modèle entraîné pour favoriser des recherches ultérieures.

English

The advancement of natural language processing (NLP) in biology hinges on models' ability to interpret intricate biomedical literature. Traditional models often struggle with the complex and domain-specific language in this field. In this paper, we present BioMamba, a pre-trained model specifically designed for biomedical text mining. BioMamba builds upon the Mamba architecture and is pre-trained on an extensive corpus of biomedical literature. Our empirical studies demonstrate that BioMamba significantly outperforms models like BioBERT and general-domain Mamba across various biomedical tasks. For instance, BioMamba achieves a 100 times reduction in perplexity and a 4 times reduction in cross-entropy loss on the BioASQ test set. We provide an overview of the model architecture, pre-training process, and fine-tuning techniques. Additionally, we release the code and trained model to facilitate further research.