대규모 언어 모델을 활용한 생물의학 지식 추출: 약물 부작용 사례 연구

초록

GPT-4와 같은 대형 언어 모델(LLMs)은 건강 응용을 포함한 다양한 작업에서 뛰어난 능력을 보여주고 있습니다. 본 논문에서는 LLMs가 어떻게 생물의학 지식 큐레이션을 확장하는 데 사용될 수 있는지 연구합니다. 우리는 LLMs가 이미 생물의학 텍스트를 구조화하는 데 괜찮은 능력을 가지고 있지만, 자기 지도 학습을 통해 작업 특화 학생 모델로 증류함으로써 상당한 성능 향상을 얻을 수 있으며, 비용, 효율성, 그리고 화이트박스 모델 접근성과 같은 추가적인 이점도 얻을 수 있음을 발견했습니다. 우리는 치료 개선을 위한 중요한 영역인 약물 부작용(ADE) 추출에 대한 사례 연구를 수행했습니다. 표준 ADE 추출 평가에서, GPT-3.5로 증류된 PubMedBERT 모델은 레이블된 데이터를 전혀 사용하지 않고도 지도 학습 기반의 최첨단 모델과 비슷한 정확도를 달성했습니다. 1,000배 이상 작은 크기임에도 불구하고, 증류된 모델은 F1 점수에서 GPT-3.5보다 6점 이상, GPT-4보다 5점 이상 우수한 성능을 보였습니다. 증류 모델 선택(예: PubMedBERT 대 BioGPT)과 ADE 추출 아키텍처에 대한 제거 연구는 생물의학 지식 추출을 위한 최적의 방법을 밝혀주었습니다. 유전자-질병 연관성 및 보호된 건강 정보와 같은 다른 표준 생물의학 지식 추출 작업에서도 증류를 통해 유사한 성능 향상을 얻었으며, 이 접근법의 잠재력을 더욱 입증했습니다.

English

Large language models (LLMs), such as GPT-4, have demonstrated remarkable capabilities across a wide range of tasks, including health applications. In this paper, we study how LLMs can be used to scale biomedical knowledge curation. We find that while LLMs already possess decent competency in structuring biomedical text, by distillation into a task-specific student model through self-supervised learning, substantial gains can be attained over out-of-box LLMs, with additional advantages such as cost, efficiency, and white-box model access. We conduct a case study on adverse drug event (ADE) extraction, which is an important area for improving care. On standard ADE extraction evaluation, a GPT-3.5 distilled PubMedBERT model attained comparable accuracy as supervised state-of-the-art models without using any labeled data. Despite being over 1,000 times smaller, the distilled model outperformed its teacher GPT-3.5 by over 6 absolute points in F1 and GPT-4 by over 5 absolute points. Ablation studies on distillation model choice (e.g., PubMedBERT vs BioGPT) and ADE extraction architecture shed light on best practice for biomedical knowledge extraction. Similar gains were attained by distillation for other standard biomedical knowledge extraction tasks such as gene-disease associations and protected health information, further illustrating the promise of this approach.

대규모 언어 모델을 활용한 생물의학 지식 추출: 약물 부작용 사례 연구

Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events

초록

Support