BioMedLM: Een taalmodel met 2,7 miljard parameters getraind op biomedische teksten
BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
March 27, 2024
Auteurs: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning
cs.AI
Samenvatting
Modellen zoals GPT-4 en Med-PaLM 2 hebben indrukwekkende prestaties laten zien op een breed scala aan biomedische NLP-taken. Deze modellen hebben echter honderden miljarden parameters, zijn rekenkundig duur om uit te voeren, vereisen dat gebruikers hun invoergegevens via het internet versturen, en zijn getraind op onbekende gegevensbronnen. Kunnen kleinere, meer gerichte modellen concurreren? Om deze vraag te beantwoorden, hebben wij BioMedLM gebouwd en vrijgegeven, een autoregressief GPT-model met 2,7 miljard parameters dat uitsluitend is getraind op PubMed-samenvattingen en volledige artikelen. Wanneer het wordt gefinetuned, kan BioMedLM sterke resultaten behalen bij meerkeuzevragen over biomedische onderwerpen, die vergelijkbaar zijn met veel grotere modellen, zoals een score van 57,3% op MedMCQA (dev) en 69,0% op het MMLU Medical Genetics-examen. BioMedLM kan ook worden gefinetuned om nuttige antwoorden te geven op patiëntenvragen over medische onderwerpen. Dit toont aan dat kleinere modellen mogelijk kunnen dienen als transparante, privacybeschermende, economische en milieuvriendelijke fundamenten voor specifieke NLP-toepassingen, zoals in de biomedische sector. Het model is beschikbaar op de Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.
English
Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance
on a wide variety of biomedical NLP tasks. However, these models have hundreds
of billions of parameters, are computationally expensive to run, require users
to send their input data over the internet, and are trained on unknown data
sources. Can smaller, more targeted models compete? To address this question,
we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive
model trained exclusively on PubMed abstracts and full articles. When
fine-tuned, BioMedLM can produce strong multiple-choice biomedical
question-answering results competitive with much larger models, such as
achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical
Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to
patient questions on medical topics. This demonstrates that smaller models can
potentially serve as transparent, privacy-preserving, economical and
environmentally friendly foundations for particular NLP applications, such as
in biomedicine. The model is available on the Hugging Face Hub:
https://huggingface.co/stanford-crfm/BioMedLM.