Naar een algemeen toepasbare biomedische AI

Samenvatting

Geneeskunde is van nature multimodaal, met rijke datamodaliteiten die tekst, beeldvorming, genomica en meer omvatten. Algemene biomedische kunstmatige intelligentie (AI)-systemen die deze gegevens op grote schaal flexibel coderen, integreren en interpreteren, kunnen potentieel impactvolle toepassingen mogelijk maken, variërend van wetenschappelijke ontdekkingen tot zorgverlening. Om de ontwikkeling van deze modellen mogelijk te maken, hebben we eerst MultiMedBench samengesteld, een nieuwe multimodale biomedische benchmark. MultiMedBench omvat 14 diverse taken, zoals het beantwoorden van medische vragen, interpretatie van mammografie- en dermatologiebeelden, het genereren en samenvatten van radiologieverslagen, en het aanroepen van genomische varianten. Vervolgens introduceren we Med-PaLM Multimodal (Med-PaLM M), ons proof of concept voor een algemeen biomedisch AI-systeem. Med-PaLM M is een groot multimodaal generatief model dat flexibel biomedische gegevens codeert en interpreteert, waaronder klinische taal, beeldvorming en genomica, met dezelfde set modelgewichten. Med-PaLM M bereikt prestaties die concurrerend zijn met of de state-of-the-art overtreffen op alle MultiMedBench-taken, waarbij het vaak gespecialiseerde modellen met ruime marge overtreft. We rapporteren ook voorbeelden van zero-shot generalisatie naar nieuwe medische concepten en taken, positieve transfer learning tussen taken, en emergent zero-shot medisch redeneren. Om de mogelijkheden en beperkingen van Med-PaLM M verder te onderzoeken, voeren we een radiologenevaluatie uit van modelgegenereerde (en menselijke) thoraxfoto-rapporten en observeren we bemoedigende prestaties over verschillende modelschalen. In een zij-aan-zij-rangschikking van 246 retrospectieve thoraxfoto's geven clinici in tot 40,50% van de gevallen een voorkeur aan Med-PaLM M-rapporten boven die geproduceerd door radiologen, wat wijst op potentieel klinisch nut. Hoewel aanzienlijk werk nodig is om deze modellen in real-world gebruiksscenario's te valideren, vertegenwoordigen onze resultaten een mijlpaal in de ontwikkeling van algemene biomedische AI-systemen.

English

Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.

Naar een algemeen toepasbare biomedische AI

Towards Generalist Biomedical AI

Samenvatting

Support