К универсальному биомедицинскому искусственному интеллекту

Towards Generalist Biomedical AI

July 26, 2023

Авторы: Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfield, Sushant Prakash, Renee Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan

cs.AI

Аннотация

Медицина по своей природе является мультимодальной, включая богатые данные в виде текста, изображений, геномики и других форматов. Универсальные системы искусственного интеллекта (ИИ) в биомедицине, способные гибко кодировать, интегрировать и интерпретировать эти данные в больших масштабах, могут способствовать созданию значимых приложений — от научных открытий до оказания медицинской помощи. Для разработки таких моделей мы сначала создали MultiMedBench — новый мультимодальный биомедицинский бенчмарк. MultiMedBench охватывает 14 разнообразных задач, таких как ответы на медицинские вопросы, интерпретация изображений маммографии и дерматологии, генерация и суммирование радиологических отчетов, а также выявление геномных вариантов. Затем мы представляем Med-PaLM Multimodal (Med-PaLM M) — нашу концептуальную модель универсальной биомедицинской системы ИИ. Med-PaLM M представляет собой крупную мультимодальную генеративную модель, которая гибко кодирует и интерпретирует биомедицинские данные, включая клинический язык, изображения и геномику, используя один и тот же набор весов модели. Med-PaLM M демонстрирует результаты, сопоставимые или превосходящие современные достижения во всех задачах MultiMedBench, часто значительно опережая специализированные модели. Мы также приводим примеры обобщения на новые медицинские концепции и задачи в режиме zero-shot, позитивного переноса знаний между задачами и проявления способности к медицинскому рассуждению в режиме zero-shot. Для дальнейшего изучения возможностей и ограничений Med-PaLM M мы провели оценку радиологами отчетов, сгенерированных моделью (и человеком), по рентгенограммам грудной клетки и наблюдали обнадеживающие результаты на разных масштабах модели. В сравнительном ранжировании 246 ретроспективных рентгенограмм грудной клетки клиницисты отдали предпочтение отчетам Med-PaLM M вплоть до 40,50% случаев, что указывает на потенциальную клиническую полезность. Хотя для валидации этих моделей в реальных условиях требуется значительная работа, наши результаты представляют собой важный шаг на пути к разработке универсальных биомедицинских систем ИИ.

English

Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.