BioMedLM: 生物医学テキストで訓練された27億パラメータの言語モデル

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

March 27, 2024

著者: Elliot Bolton, Abhinav Venigalla, Michihiro Yasunaga, David Hall, Betty Xiong, Tony Lee, Roxana Daneshjou, Jonathan Frankle, Percy Liang, Michael Carbin, Christopher D. Manning

cs.AI

要旨

GPT-4やMed-PaLM 2などのモデルは、多様な生物医学的NLPタスクにおいて印象的な性能を発揮しています。しかし、これらのモデルは数千億のパラメータを持ち、実行に多大な計算コストを要し、ユーザーは入力データをインターネット経由で送信する必要があり、未知のデータソースで訓練されています。より小型で特定の目的に特化したモデルは、これらと競合できるのでしょうか？この疑問に答えるため、我々はPubMedの抄録と全文記事のみで訓練された、27億パラメータのGPTスタイルの自己回帰モデルであるBioMedLMを構築し、公開しました。ファインチューニングを行うことで、BioMedLMはMedMCQA（開発セット）で57.3%、MMLU Medical Genetics試験で69.0%という、より大規模なモデルに匹敵する強力な多肢選択式生物医学的質問応答結果を生成できます。また、BioMedLMは医療トピックに関する患者の質問に対して有用な回答を生成するようファインチューニングすることも可能です。これは、より小型のモデルが、生物医学などの特定のNLPアプリケーションにおいて、透明性が高く、プライバシーを保護し、経済的で環境に優しい基盤として機能し得ることを示しています。本モデルはHugging Face Hubで公開されています：https://huggingface.co/stanford-crfm/BioMedLM。

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.