BioMedLM: Ein 2,7 Milliarden Parameter umfassendes Sprachmodell, das auf biomedizinischem Text trainiert wurde.

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

March 27, 2024

Autoren: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning

cs.AI

Zusammenfassung

Modelle wie GPT-4 und Med-PaLM 2 haben beeindruckende Leistungen bei einer Vielzahl von biomedizinischen NLP-Aufgaben gezeigt. Diese Modelle haben jedoch Hunderte Milliarden von Parametern, sind rechenaufwendig, erfordern, dass Benutzer ihre Eingabedaten über das Internet senden und werden mit unbekannten Datenquellen trainiert. Können kleinere, zielgerichtetere Modelle mithalten? Um diese Frage zu beantworten, haben wir BioMedLM entwickelt und veröffentlicht, ein 2,7 Milliarden Parameter umfassendes GPT-ähnliches autoregressives Modell, das ausschließlich auf PubMed-Zusammenfassungen und Volltextartikeln trainiert wurde. Nach Feinabstimmung kann BioMedLM starke Ergebnisse im mehrfachauswahlbasierten biomedizinischen Frage-Antworten erzielen, die mit wesentlich größeren Modellen konkurrieren, wie z.B. eine Punktzahl von 57,3 % bei MedMCQA (dev) und 69,0 % bei der MMLU-Prüfung für medizinische Genetik. BioMedLM kann auch für die Beantwortung von Patientenfragen zu medizinischen Themen nützliche Antworten liefern. Dies zeigt, dass kleinere Modelle potenziell als transparente, datenschutzfreundliche, kostengünstige und umweltfreundliche Grundlagen für bestimmte NLP-Anwendungen, wie in der Biomedizin, dienen können. Das Modell ist auf dem Hugging Face Hub verfügbar: https://huggingface.co/stanford-crfm/BioMedLM.

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.