BioMedLM: un modello linguistico da 2,7 miliardi di parametri addestrato su testi biomedici
BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
March 27, 2024
Autori: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning
cs.AI
Abstract
Modelli come GPT-4 e Med-PaLM 2 hanno dimostrato prestazioni impressionanti su una vasta gamma di task di NLP biomedico. Tuttavia, questi modelli hanno centinaia di miliardi di parametri, sono computazionalmente costosi da eseguire, richiedono agli utenti di inviare i propri dati di input tramite internet e sono addestrati su fonti di dati sconosciute. Modelli più piccoli e mirati possono competere? Per affrontare questa questione, abbiamo costruito e rilasciato BioMedLM, un modello autoregressivo in stile GPT da 2,7 miliardi di parametri addestrato esclusivamente su abstract e articoli completi di PubMed. Quando sottoposto a fine-tuning, BioMedLM può produrre risultati solidi nel rispondere a domande a scelta multipla in ambito biomedico, competitivi con modelli molto più grandi, come ottenere un punteggio del 57,3% su MedMCQA (dev) e del 69,0% sull'esame MMLU Medical Genetics. BioMedLM può anche essere sottoposto a fine-tuning per produrre risposte utili a domande dei pazienti su argomenti medici. Ciò dimostra che modelli più piccoli possono potenzialmente servire come basi trasparenti, rispettose della privacy, economiche ed ecologiche per particolari applicazioni di NLP, come nel campo biomedico. Il modello è disponibile su Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.
English
Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance
on a wide variety of biomedical NLP tasks. However, these models have hundreds
of billions of parameters, are computationally expensive to run, require users
to send their input data over the internet, and are trained on unknown data
sources. Can smaller, more targeted models compete? To address this question,
we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive
model trained exclusively on PubMed abstracts and full articles. When
fine-tuned, BioMedLM can produce strong multiple-choice biomedical
question-answering results competitive with much larger models, such as
achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical
Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to
patient questions on medical topics. This demonstrates that smaller models can
potentially serve as transparent, privacy-preserving, economical and
environmentally friendly foundations for particular NLP applications, such as
in biomedicine. The model is available on the Hugging Face Hub:
https://huggingface.co/stanford-crfm/BioMedLM.