BioMedLM: Um Modelo de Linguagem com 2,7 Bilhões de Parâmetros Treinado em Textos Biomédicos
BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
March 27, 2024
Autores: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning
cs.AI
Resumo
Modelos como o GPT-4 e o Med-PaLM 2 demonstraram desempenho impressionante em uma ampla variedade de tarefas de PLN (Processamento de Linguagem Natural) biomédico. No entanto, esses modelos possuem centenas de bilhões de parâmetros, são computacionalmente caros para executar, exigem que os usuários enviem seus dados de entrada pela internet e são treinados em fontes de dados desconhecidas. Modelos menores e mais direcionados podem competir? Para abordar essa questão, construímos e lançamos o BioMedLM, um modelo autoregressivo no estilo GPT com 2,7 bilhões de parâmetros, treinado exclusivamente em resumos e artigos completos do PubMed. Quando ajustado, o BioMedLM pode produzir resultados fortes em tarefas de resposta a perguntas de múltipla escolha no campo biomédico, competitivos com modelos muito maiores, como alcançar uma pontuação de 57,3% no MedMCQA (dev) e 69,0% no exame de Genética Médica do MMLU. O BioMedLM também pode ser ajustado para fornecer respostas úteis a perguntas de pacientes sobre tópicos médicos. Isso demonstra que modelos menores podem potencialmente servir como bases transparentes, que preservam a privacidade, econômicas e ecologicamente sustentáveis para aplicações específicas de PLN, como na biomedicina. O modelo está disponível no Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.
English
Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance
on a wide variety of biomedical NLP tasks. However, these models have hundreds
of billions of parameters, are computationally expensive to run, require users
to send their input data over the internet, and are trained on unknown data
sources. Can smaller, more targeted models compete? To address this question,
we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive
model trained exclusively on PubMed abstracts and full articles. When
fine-tuned, BioMedLM can produce strong multiple-choice biomedical
question-answering results competitive with much larger models, such as
achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical
Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to
patient questions on medical topics. This demonstrates that smaller models can
potentially serve as transparent, privacy-preserving, economical and
environmentally friendly foundations for particular NLP applications, such as
in biomedicine. The model is available on the Hugging Face Hub:
https://huggingface.co/stanford-crfm/BioMedLM.