BioMamba: Un modelo de representación de lenguaje biomédico preentrenado aprovechando Mamba

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

August 5, 2024

Autores: Ling Yue, Sixue Xing, Yingzhou Lu, Tianfan Fu

cs.AI

Resumen

El avance del procesamiento del lenguaje natural (PLN) en biología depende de la capacidad de los modelos para interpretar la intrincada literatura biomédica. Los modelos tradicionales a menudo tienen dificultades con el lenguaje complejo y específico de este campo. En este documento, presentamos BioMamba, un modelo pre-entrenado diseñado específicamente para la minería de texto biomédico. BioMamba se basa en la arquitectura Mamba y se pre-entrena en un extenso corpus de literatura biomédica. Nuestros estudios empíricos demuestran que BioMamba supera significativamente a modelos como BioBERT y Mamba de dominio general en diversas tareas biomédicas. Por ejemplo, BioMamba logra una reducción de 100 veces en la perplejidad y una reducción de 4 veces en la pérdida de entropía cruzada en el conjunto de pruebas de BioASQ. Proporcionamos una descripción general de la arquitectura del modelo, el proceso de pre-entrenamiento y las técnicas de ajuste fino. Además, liberamos el código y el modelo entrenado para facilitar investigaciones futuras.

English

The advancement of natural language processing (NLP) in biology hinges on models' ability to interpret intricate biomedical literature. Traditional models often struggle with the complex and domain-specific language in this field. In this paper, we present BioMamba, a pre-trained model specifically designed for biomedical text mining. BioMamba builds upon the Mamba architecture and is pre-trained on an extensive corpus of biomedical literature. Our empirical studies demonstrate that BioMamba significantly outperforms models like BioBERT and general-domain Mamba across various biomedical tasks. For instance, BioMamba achieves a 100 times reduction in perplexity and a 4 times reduction in cross-entropy loss on the BioASQ test set. We provide an overview of the model architecture, pre-training process, and fine-tuning techniques. Additionally, we release the code and trained model to facilitate further research.