BioMedLM: Un modelo de lenguaje de 2.7 mil millones de parámetros entrenado en texto biomédico

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

March 27, 2024

Autores: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning

cs.AI

Resumen

Modelos como GPT-4 y Med-PaLM 2 han demostrado un rendimiento impresionante en una amplia variedad de tareas de procesamiento de lenguaje natural (PLN) biomédico. Sin embargo, estos modelos tienen cientos de miles de millones de parámetros, son computacionalmente costosos de ejecutar, requieren que los usuarios envíen sus datos de entrada a través de internet y están entrenados con fuentes de datos desconocidas. ¿Pueden los modelos más pequeños y específicos competir? Para abordar esta pregunta, construimos y publicamos BioMedLM, un modelo autoregresivo estilo GPT con 2.7 mil millones de parámetros, entrenado exclusivamente con resúmenes y artículos completos de PubMed. Cuando se ajusta, BioMedLM puede producir resultados sólidos en tareas de preguntas y respuestas de opción múltiple en biomedicina, compitiendo con modelos mucho más grandes, como lograr un puntaje de 57.3% en MedMCQA (dev) y 69.0% en el examen de Genética Médica de MMLU. BioMedLM también puede ajustarse para generar respuestas útiles a preguntas de pacientes sobre temas médicos. Esto demuestra que los modelos más pequeños pueden servir potencialmente como bases transparentes, respetuosas con la privacidad, económicas y ecológicas para aplicaciones específicas de PLN, como en biomedicina. El modelo está disponible en el Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.