BioMedLM: Языковая модель с 2,7 миллиарда параметров, обученная на биомедицинском тексте.

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

March 27, 2024

Авторы: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning

cs.AI

Аннотация

Модели, такие как GPT-4 и Med-PaLM 2, продемонстрировали впечатляющую производительность на широком спектре задач биомедицинской обработки естественного языка. Однако эти модели имеют сотни миллиардов параметров, требуют значительных вычислительных ресурсов для запуска, заставляют пользователей отправлять свои входные данные через интернет и обучаются на неизвестных источниках данных. Могут ли более компактные, специализированные модели конкурировать? Чтобы ответить на этот вопрос, мы создали и выпустили BioMedLM, авторегрессивную модель GPT-стиля с 2,7 миллиарда параметров, обученную исключительно на аннотациях и полных статьях PubMed. После настройки BioMedLM способна давать сильные результаты в многовариантных биомедицинских вопросах и ответах, конкурируя с гораздо более крупными моделями, например, достигая показателя 57,3% в MedMCQA (dev) и 69,0% на экзамене по медицинской генетике MMLU. BioMedLM также может быть настроена для предоставления полезных ответов на вопросы пациентов по медицинским темам. Это демонстрирует, что более компактные модели могут потенциально служить прозрачными, защищающими конфиденциальность, экономичными и экологически безопасными основами для конкретных приложений обработки естественного языка, таких как в биомедицине. Модель доступна на платформе Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.