BioMamba: Ein vortrainiertes biomedizinisches Sprachdarstellungsmodell, das Mamba nutzt.

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

August 5, 2024

Autoren: Ling Yue, Sixue Xing, Yingzhou Lu, Tianfan Fu

cs.AI

Zusammenfassung

Der Fortschritt der natürlichen Sprachverarbeitung (NLP) in der Biologie hängt von der Fähigkeit der Modelle ab, komplexe biomedizinische Literatur zu interpretieren. Traditionelle Modelle haben oft Schwierigkeiten mit der komplexen und fachspezifischen Sprache in diesem Bereich. In diesem Artikel stellen wir BioMamba vor, ein speziell für das Text-Mining in der Biomedizin entwickeltes vorab trainiertes Modell. BioMamba baut auf der Mamba-Architektur auf und wird auf einem umfangreichen Korpus biomedizinischer Literatur vorab trainiert. Unsere empirischen Studien zeigen, dass BioMamba in verschiedenen biomedizinischen Aufgaben signifikant bessere Leistungen erbringt als Modelle wie BioBERT und die allgemeine Mamba-Architektur. Beispielsweise erzielt BioMamba eine 100-fache Reduzierung der Perplexität und eine 4-fache Reduzierung des Cross-Entropy-Verlusts auf dem BioASQ-Testdatensatz. Wir geben einen Überblick über die Modellarchitektur, den Vorab-Trainingsprozess und die Feinabstimmungstechniken. Darüber hinaus veröffentlichen wir den Code und das trainierte Modell, um weitere Forschung zu erleichtern.

English

The advancement of natural language processing (NLP) in biology hinges on models' ability to interpret intricate biomedical literature. Traditional models often struggle with the complex and domain-specific language in this field. In this paper, we present BioMamba, a pre-trained model specifically designed for biomedical text mining. BioMamba builds upon the Mamba architecture and is pre-trained on an extensive corpus of biomedical literature. Our empirical studies demonstrate that BioMamba significantly outperforms models like BioBERT and general-domain Mamba across various biomedical tasks. For instance, BioMamba achieves a 100 times reduction in perplexity and a 4 times reduction in cross-entropy loss on the BioASQ test set. We provide an overview of the model architecture, pre-training process, and fine-tuning techniques. Additionally, we release the code and trained model to facilitate further research.