Hacia una IA Biomédica Generalista

Towards Generalist Biomedical AI

July 26, 2023

Autores: Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfield, Sushant Prakash, Renee Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan

cs.AI

Resumen

La medicina es inherentemente multimodal, con ricas modalidades de datos que abarcan texto, imágenes, genómica y más. Los sistemas de inteligencia artificial (IA) biomédica generalista que codifican, integran e interpretan estos datos de manera flexible y a gran escala pueden habilitar aplicaciones impactantes que van desde el descubrimiento científico hasta la prestación de atención médica. Para facilitar el desarrollo de estos modelos, primero hemos creado MultiMedBench, un nuevo punto de referencia multimodal en biomedicina. MultiMedBench incluye 14 tareas diversas, como la respuesta a preguntas médicas, la interpretación de imágenes de mamografías y dermatología, la generación y resumen de informes radiológicos, y la identificación de variantes genómicas. Luego, presentamos Med-PaLM Multimodal (Med-PaLM M), nuestra prueba de concepto para un sistema de IA biomédica generalista. Med-PaLM M es un modelo generativo multimodal de gran escala que codifica e interpreta de manera flexible datos biomédicos, incluyendo lenguaje clínico, imágenes y genómica, utilizando el mismo conjunto de pesos del modelo. Med-PaLM M alcanza un rendimiento competitivo o superior al estado del arte en todas las tareas de MultiMedBench, superando a menudo a modelos especializados por un amplio margen. También reportamos ejemplos de generalización zero-shot a conceptos y tareas médicas novedosas, transferencia positiva de aprendizaje entre tareas y razonamiento médico zero-shot emergente. Para explorar más a fondo las capacidades y limitaciones de Med-PaLM M, realizamos una evaluación radiológica de informes de rayos X de tórax generados por el modelo (y por humanos), observando un rendimiento alentador en diferentes escalas del modelo. En una clasificación comparativa de 246 rayos X de tórax retrospectivos, los clínicos expresaron una preferencia por los informes de Med-PaLM M sobre los producidos por radiólogos en hasta el 40.50% de los casos, sugiriendo una posible utilidad clínica. Si bien se necesita un trabajo considerable para validar estos modelos en casos de uso del mundo real, nuestros resultados representan un hito hacia el desarrollo de sistemas de IA biomédica generalista.

English

Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.