Rapporto Tecnico di MedGemma

MedGemma Technical Report

July 7, 2025

Autori: Andrew Sellergren, Sahar Kazemzadeh, Tiam Jaroensri, Atilla Kiraly, Madeleine Traverse, Timo Kohlberger, Shawn Xu, Fayaz Jamil, Cían Hughes, Charles Lau, Justin Chen, Fereshteh Mahvar, Liron Yatziv, Tiffany Chen, Bram Sterling, Stefanie Anna Baby, Susanna Maria Baby, Jeremy Lai, Samuel Schmidgall, Lu Yang, Kejia Chen, Per Bjornsson, Shashir Reddy, Ryan Brush, Kenneth Philbrick, Howard Hu, Howard Yang, Richa Tiwari, Sunny Jansen, Preeti Singh, Yun Liu, Shekoofeh Azizi, Aishwarya Kamath, Johan Ferret, Shreya Pathak, Nino Vieillard, Ramona Merhej, Sarah Perrin, Tatiana Matejovicova, Alexandre Ramé, Morgane Riviere, Louis Rouillard, Thomas Mesnard, Geoffrey Cideron, Jean-bastien Grill, Sabela Ramos, Edouard Yvinec, Michelle Casbon, Elena Buchatskaya, Jean-Baptiste Alayrac, Dmitry, Lepikhin, Vlad Feinberg, Sebastian Borgeaud, Alek Andreev, Cassidy Hardin, Robert Dadashi, Léonard Hussenot, Armand Joulin, Olivier Bachem, Yossi Matias, Katherine Chou, Avinatan Hassidim, Kavi Goel, Clement Farabet, Joelle Barral, Tris Warkentin, Jonathon Shlens, David Fleet, Victor Cotruta, Omar Sanseviero, Gus Martins, Phoebe Kirk, Anand Rao, Shravya Shetty, David F. Steiner, Can Kirmizibayrak, Rory Pilgrim, Daniel Golden, Lin Yang

cs.AI

Abstract

L'intelligenza artificiale (IA) ha un potenziale significativo nelle applicazioni sanitarie, ma il suo addestramento e implementazione affrontano sfide dovute alla diversità dei dati sanitari, alla complessità dei compiti e alla necessità di preservare la privacy. I modelli di base che ottengono buoni risultati su compiti medici e richiedono meno dati di ottimizzazione specifici per il compito sono fondamentali per accelerare lo sviluppo delle applicazioni di IA in ambito sanitario. Presentiamo MedGemma, una raccolta di modelli di base visione-linguaggio medici basati su Gemma 3 4B e 27B. MedGemma dimostra una comprensione e un ragionamento medico avanzati su immagini e testo, superando significativamente le prestazioni di modelli generativi di dimensioni simili e avvicinandosi alle prestazioni di modelli specifici per il compito, pur mantenendo le capacità generali dei modelli di base Gemma 3. Per compiti fuori distribuzione, MedGemma ottiene un miglioramento del 2,6-10% nella risposta a domande multimodali mediche, un miglioramento del 15,5-18,1% nella classificazione dei reperti radiografici del torace e un miglioramento del 10,8% nelle valutazioni agentiche rispetto ai modelli di base. Il fine-tuning di MedGemma migliora ulteriormente le prestazioni nei sottodomini, riducendo gli errori nel recupero delle informazioni dalle cartelle cliniche elettroniche del 50% e raggiungendo prestazioni comparabili ai metodi specializzati all'avanguardia esistenti per la classificazione del pneumotorace e la classificazione delle patch istopatologiche. Introduciamo inoltre MedSigLIP, un codificatore visivo ottimizzato per l'ambito medico derivato da SigLIP. MedSigLIP alimenta le capacità di comprensione visiva di MedGemma e, come codificatore, ottiene prestazioni comparabili o migliori rispetto ai codificatori di immagini mediche specializzati. Nel complesso, la raccolta MedGemma fornisce una solida base di capacità per immagini e testo medico, con il potenziale di accelerare significativamente la ricerca medica e lo sviluppo di applicazioni downstream. La raccolta MedGemma, inclusi tutorial e pesi del modello, è disponibile all'indirizzo https://goo.gle/medgemma.

English

Artificial intelligence (AI) has significant potential in healthcare applications, but its training and deployment faces challenges due to healthcare's diverse data, complex tasks, and the need to preserve privacy. Foundation models that perform well on medical tasks and require less task-specific tuning data are critical to accelerate the development of healthcare AI applications. We introduce MedGemma, a collection of medical vision-language foundation models based on Gemma 3 4B and 27B. MedGemma demonstrates advanced medical understanding and reasoning on images and text, significantly exceeding the performance of similar-sized generative models and approaching the performance of task-specific models, while maintaining the general capabilities of the Gemma 3 base models. For out-of-distribution tasks, MedGemma achieves 2.6-10% improvement on medical multimodal question answering, 15.5-18.1% improvement on chest X-ray finding classification, and 10.8% improvement on agentic evaluations compared to the base models. Fine-tuning MedGemma further improves performance in subdomains, reducing errors in electronic health record information retrieval by 50% and reaching comparable performance to existing specialized state-of-the-art methods for pneumothorax classification and histopathology patch classification. We additionally introduce MedSigLIP, a medically-tuned vision encoder derived from SigLIP. MedSigLIP powers the visual understanding capabilities of MedGemma and as an encoder achieves comparable or better performance than specialized medical image encoders. Taken together, the MedGemma collection provides a strong foundation of medical image and text capabilities, with potential to significantly accelerate medical research and development of downstream applications. The MedGemma collection, including tutorials and model weights, can be found at https://goo.gle/medgemma.