BioMedLM : un modèle de langage de 2,7 milliards de paramètres entraîné sur des textes biomédicaux

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

March 27, 2024

Auteurs: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning

cs.AI

Résumé

Des modèles tels que GPT-4 et Med-PaLM 2 ont démontré des performances impressionnantes sur une grande variété de tâches de traitement du langage naturel (NLP) biomédical. Cependant, ces modèles comportent des centaines de milliards de paramètres, sont coûteux en termes de calcul, nécessitent que les utilisateurs envoient leurs données d'entrée via internet, et sont entraînés sur des sources de données inconnues. Des modèles plus petits et plus ciblés peuvent-ils rivaliser ? Pour répondre à cette question, nous avons construit et publié BioMedLM, un modèle autoregressif de style GPT de 2,7 milliards de paramètres, entraîné exclusivement sur des résumés et des articles complets de PubMed. Lorsqu'il est affiné, BioMedLM peut produire des résultats solides en réponse à des questions biomédicales à choix multiples, rivalisant avec des modèles beaucoup plus grands, comme un score de 57,3 % sur MedMCQA (dev) et 69,0 % sur l'examen MMLU Medical Genetics. BioMedLM peut également être affiné pour fournir des réponses utiles aux questions des patients sur des sujets médicaux. Cela démontre que des modèles plus petits peuvent potentiellement servir de bases transparentes, respectueuses de la vie privée, économiques et écologiques pour des applications spécifiques de NLP, comme dans le domaine biomédical. Le modèle est disponible sur le Hugging Face Hub : https://huggingface.co/stanford-crfm/BioMedLM.

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.