Distillazione di Modelli Linguistici di Grandi Dimensioni per l'Estrazione di Conoscenze Biomediche: Un Caso di Studio sugli Eventi Avversi da Farmaci

Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events

July 12, 2023

Autori: Yu Gu, Sheng Zhang, Naoto Usuyama, Yonas Woldesenbet, Cliff Wong, Praneeth Sanapathi, Mu Wei, Naveen Valluri, Erika Strandberg, Tristan Naumann, Hoifung Poon

cs.AI

Abstract

I grandi modelli linguistici (LLM), come GPT-4, hanno dimostrato capacità straordinarie in un'ampia gamma di compiti, comprese le applicazioni sanitarie. In questo articolo, studiamo come gli LLM possano essere utilizzati per scalare la curazione delle conoscenze biomediche. Scopriamo che, sebbene gli LLM possiedano già una competenza decente nella strutturazione del testo biomedico, attraverso la distillazione in un modello studente specifico per il compito mediante apprendimento auto-supervisionato, si possono ottenere miglioramenti sostanziali rispetto agli LLM preconfigurati, con ulteriori vantaggi come costi ridotti, efficienza e accesso a modelli white-box. Condividiamo uno studio di caso sull'estrazione di eventi avversi da farmaci (ADE), un'area importante per migliorare l'assistenza sanitaria. Nella valutazione standard dell'estrazione di ADE, un modello PubMedBERT distillato da GPT-3.5 ha raggiunto un'accuratezza comparabile ai modelli supervisionati all'avanguardia senza utilizzare dati etichettati. Nonostante sia oltre 1.000 volte più piccolo, il modello distillato ha superato il suo insegnante GPT-3.5 di oltre 6 punti assoluti in F1 e GPT-4 di oltre 5 punti assoluti. Studi di ablazione sulla scelta del modello di distillazione (ad esempio, PubMedBERT rispetto a BioGPT) e sull'architettura di estrazione degli ADE hanno fornito indicazioni sulle migliori pratiche per l'estrazione di conoscenze biomediche. Simili miglioramenti sono stati ottenuti attraverso la distillazione per altre attività standard di estrazione di conoscenze biomediche, come le associazioni gene-malattia e le informazioni sanitarie protette, illustrando ulteriormente il potenziale di questo approccio.

English

Large language models (LLMs), such as GPT-4, have demonstrated remarkable capabilities across a wide range of tasks, including health applications. In this paper, we study how LLMs can be used to scale biomedical knowledge curation. We find that while LLMs already possess decent competency in structuring biomedical text, by distillation into a task-specific student model through self-supervised learning, substantial gains can be attained over out-of-box LLMs, with additional advantages such as cost, efficiency, and white-box model access. We conduct a case study on adverse drug event (ADE) extraction, which is an important area for improving care. On standard ADE extraction evaluation, a GPT-3.5 distilled PubMedBERT model attained comparable accuracy as supervised state-of-the-art models without using any labeled data. Despite being over 1,000 times smaller, the distilled model outperformed its teacher GPT-3.5 by over 6 absolute points in F1 and GPT-4 by over 5 absolute points. Ablation studies on distillation model choice (e.g., PubMedBERT vs BioGPT) and ADE extraction architecture shed light on best practice for biomedical knowledge extraction. Similar gains were attained by distillation for other standard biomedical knowledge extraction tasks such as gene-disease associations and protected health information, further illustrating the promise of this approach.