BioMedLM: 생의학 텍스트로 훈련된 27억 파라미터 언어 모델

초록

GPT-4와 Med-PaLM 2와 같은 모델들은 다양한 생물의학 NLP 작업에서 인상적인 성능을 보여주었습니다. 그러나 이러한 모델들은 수천억 개의 파라미터를 가지고 있어 실행 시 계산 비용이 많이 들며, 사용자들이 인터넷을 통해 입력 데이터를 전송해야 하고, 알려지지 않은 데이터 소스로 학습되었다는 단점이 있습니다. 더 작고 특화된 모델들이 경쟁할 수 있을까요? 이 질문에 답하기 위해, 우리는 PubMed 초록과 전체 논문으로만 학습된 27억 개의 파라미터를 가진 GPT 스타일의 자동회귀 모델인 BioMedLM을 구축하고 공개했습니다. 미세 조정을 거친 BioMedLM은 훨씬 더 큰 모델들과 경쟁력 있는 다중 선택형 생물의학 질문-응답 결과를 생성할 수 있으며, MedMCQA(dev)에서 57.3%, MMLU Medical Genetics 시험에서 69.0%의 점수를 달성했습니다. 또한 BioMedLM은 의학 주제에 대한 환자 질문에 유용한 답변을 생성하도록 미세 조정될 수 있습니다. 이는 더 작은 모델들이 생물의학과 같은 특정 NLP 애플리케이션을 위한 투명하고, 개인정보를 보호하며, 경제적이고 환경 친화적인 기반으로 잠재적으로 사용될 수 있음을 보여줍니다. 이 모델은 Hugging Face Hub에서 이용 가능합니다: https://huggingface.co/stanford-crfm/BioMedLM.

English

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.

BioMedLM: 생의학 텍스트로 훈련된 27억 파라미터 언어 모델

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

초록

Support