Distilación de Modelos de Lenguaje de Gran Escala para la Extracción de Conocimiento Biomédico: Un Estudio de Caso sobre Eventos Adversos a Medicamentos

Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events

July 12, 2023

Autores: Yu Gu, Sheng Zhang, Naoto Usuyama, Yonas Woldesenbet, Cliff Wong, Praneeth Sanapathi, Mu Wei, Naveen Valluri, Erika Strandberg, Tristan Naumann, Hoifung Poon

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), como GPT-4, han demostrado capacidades notables en una amplia gama de tareas, incluyendo aplicaciones en salud. En este artículo, estudiamos cómo los LLMs pueden utilizarse para escalar la curación de conocimiento biomédico. Descubrimos que, aunque los LLMs ya poseen una competencia decente en la estructuración de texto biomédico, mediante la destilación en un modelo estudiante específico para la tarea a través de aprendizaje auto-supervisado, se pueden lograr mejoras sustanciales sobre los LLMs estándar, con ventajas adicionales como coste, eficiencia y acceso a un modelo de caja blanca. Realizamos un estudio de caso sobre la extracción de eventos adversos a medicamentos (ADE, por sus siglas en inglés), un área importante para mejorar la atención médica. En la evaluación estándar de extracción de ADE, un modelo PubMedBERT destilado de GPT-3.5 alcanzó una precisión comparable a los modelos supervisados de última generación sin utilizar datos etiquetados. A pesar de ser más de 1,000 veces más pequeño, el modelo destilado superó a su maestro GPT-3.5 en más de 6 puntos absolutos en F1 y a GPT-4 en más de 5 puntos absolutos. Los estudios de ablación sobre la elección del modelo de destilación (por ejemplo, PubMedBERT frente a BioGPT) y la arquitectura de extracción de ADE arrojan luz sobre las mejores prácticas para la extracción de conocimiento biomédico. Se obtuvieron mejoras similares mediante la destilación en otras tareas estándar de extracción de conocimiento biomédico, como asociaciones gen-enfermedad e información de salud protegida, lo que ilustra aún más el potencial de este enfoque.

English

Large language models (LLMs), such as GPT-4, have demonstrated remarkable capabilities across a wide range of tasks, including health applications. In this paper, we study how LLMs can be used to scale biomedical knowledge curation. We find that while LLMs already possess decent competency in structuring biomedical text, by distillation into a task-specific student model through self-supervised learning, substantial gains can be attained over out-of-box LLMs, with additional advantages such as cost, efficiency, and white-box model access. We conduct a case study on adverse drug event (ADE) extraction, which is an important area for improving care. On standard ADE extraction evaluation, a GPT-3.5 distilled PubMedBERT model attained comparable accuracy as supervised state-of-the-art models without using any labeled data. Despite being over 1,000 times smaller, the distilled model outperformed its teacher GPT-3.5 by over 6 absolute points in F1 and GPT-4 by over 5 absolute points. Ablation studies on distillation model choice (e.g., PubMedBERT vs BioGPT) and ADE extraction architecture shed light on best practice for biomedical knowledge extraction. Similar gains were attained by distillation for other standard biomedical knowledge extraction tasks such as gene-disease associations and protected health information, further illustrating the promise of this approach.