BioMamba: Um Modelo de Representação de Linguagem Biomédica Pré-treinado Aproveitando Mamba

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

August 5, 2024

Autores: Ling Yue, Sixue Xing, Yingzhou Lu, Tianfan Fu

cs.AI

Resumo

O avanço do processamento de linguagem natural (PLN) na biologia depende da capacidade dos modelos de interpretar a intrincada literatura biomédica. Modelos tradicionais frequentemente enfrentam dificuldades com a linguagem complexa e específica desse campo. Neste artigo, apresentamos o BioMamba, um modelo pré-treinado especificamente projetado para mineração de texto biomédico. O BioMamba se baseia na arquitetura Mamba e é pré-treinado em um extenso corpus de literatura biomédica. Nossos estudos empíricos demonstram que o BioMamba supera significativamente modelos como o BioBERT e o Mamba de domínio geral em várias tarefas biomédicas. Por exemplo, o BioMamba alcança uma redução de 100 vezes na perplexidade e uma redução de 4 vezes na perda de entropia cruzada no conjunto de teste BioASQ. Fornecemos uma visão geral da arquitetura do modelo, do processo de pré-treinamento e das técnicas de ajuste fino. Além disso, disponibilizamos o código e o modelo treinado para facilitar pesquisas futuras.

English

The advancement of natural language processing (NLP) in biology hinges on models' ability to interpret intricate biomedical literature. Traditional models often struggle with the complex and domain-specific language in this field. In this paper, we present BioMamba, a pre-trained model specifically designed for biomedical text mining. BioMamba builds upon the Mamba architecture and is pre-trained on an extensive corpus of biomedical literature. Our empirical studies demonstrate that BioMamba significantly outperforms models like BioBERT and general-domain Mamba across various biomedical tasks. For instance, BioMamba achieves a 100 times reduction in perplexity and a 4 times reduction in cross-entropy loss on the BioASQ test set. We provide an overview of the model architecture, pre-training process, and fine-tuning techniques. Additionally, we release the code and trained model to facilitate further research.