Hin zu einem allgemeinen biomedizinischen KI-System

Towards Generalist Biomedical AI

July 26, 2023

Autoren: Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfield, Sushant Prakash, Renee Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan

cs.AI

Zusammenfassung

Die Medizin ist von Natur aus multimodal, mit reichhaltigen Datenmodalitäten, die Text, Bildgebung, Genomik und mehr umfassen. Allgemeine biomedizinische künstliche Intelligenz (KI)-Systeme, die diese Daten flexibel kodieren, integrieren und in großem Maßstab interpretieren, können potenziell wegweisende Anwendungen von der wissenschaftlichen Entdeckung bis zur Versorgung ermöglichen. Um die Entwicklung dieser Modelle zu ermöglichen, stellen wir zunächst MultiMedBench vor, einen neuen multimodalen biomedizinischen Benchmark. MultiMedBench umfasst 14 verschiedene Aufgaben wie medizinische Fragebeantwortung, Interpretation von Mammographie- und Dermatologiebildern, Generierung und Zusammenfassung von Radiologieberichten sowie Genomvariantenbestimmung. Anschließend präsentieren wir Med-PaLM Multimodal (Med-PaLM M), unseren Proof of Concept für ein allgemeines biomedizinisches KI-System. Med-PaLM M ist ein großes multimodales generatives Modell, das biomedizinische Daten, einschließlich klinischer Sprache, Bildgebung und Genomik, flexibel mit demselben Satz von Modellgewichten kodiert und interpretiert. Med-PaLM M erreicht eine Leistung, die mit dem Stand der Technik konkurriert oder diesen auf allen MultiMedBench-Aufgaben übertrifft, oftmals spezialisierte Modelle deutlich übertreffend. Wir berichten auch Beispiele für Zero-Shot-Generalisierung auf neue medizinische Konzepte und Aufgaben, positiven Transferlernen zwischen Aufgaben und emergentem Zero-Shot-medizinischem Denken. Um die Fähigkeiten und Grenzen von Med-PaLM M weiter zu untersuchen, führen wir eine Radiologenbewertung von modellgenerierten (und menschlichen) Röntgenberichten des Brustkorbs durch und beobachten ermutigende Leistungen über verschiedene Modellgrößen hinweg. In einem direkten Vergleich von 246 retrospektiven Röntgenaufnahmen des Brustkorbs äußern Kliniker eine Präferenz für Med-PaLM M-Berichte gegenüber denen von Radiologen in bis zu 40,50 % der Fälle, was auf potenzielle klinische Nützlichkeit hindeutet. Obwohl erhebliche Arbeit erforderlich ist, um diese Modelle in realen Anwendungsfällen zu validieren, stellen unsere Ergebnisse einen Meilenstein in der Entwicklung allgemeiner biomedizinischer KI-Systeme dar.

English

Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.