Rapport Technique de MedGemma 1.5

Résumé

Nous présentons MedGemma 1.5 4B, le dernier modèle de la collection MedGemma. MedGemma 1.5 étend les capacités de MedGemma 1 en intégrant de nouvelles fonctionnalités : l'imagerie médicale haute dimension (volumes de tomodensitométrie/IRM et images de lames histopathologiques complètes), la localisation anatomique via des boîtes englobantes, l'analyse multi-temporelle des radiographies thoraciques et une meilleure compréhension des documents médicaux (rapports de laboratoire, dossiers médicaux électroniques). Nous détaillons les innovations nécessaires pour permettre ces modalités au sein d'une architecture unique, incluant de nouvelles données d'entraînement, le découpage contextuel long de volumes 3D et l'échantillonnage de lames histopathologiques complètes. Comparé à MedGemma 1 4B, MedGemma 1.5 4B démontre des gains significatifs dans ces nouveaux domaines, améliorant la précision de classification des conditions en IRM 3D de 11 % et en tomodensitométrie 3D de 3 % (améliorations absolues). Pour l'imagerie pathologique sur lames complètes, MedGemma 1.5 4B obtient un gain de F1 macro de 47 %. De plus, il améliore la localisation anatomique avec une augmentation de 35 % de l'Intersection sur Union sur les radiographies thoraciques et atteint une précision macro de 4 % pour l'analyse longitudinale (multi-temporelle) des radiographies thoraciques. Au-delà de ses performances multimodales supérieures à MedGemma 1, MedGemma 1.5 améliore les connaissances et le raisonnement cliniques basés sur le texte, progressant de 5 % sur la précision MedQA et de 22 % sur la précision EHRQA. Il obtient également une moyenne de 18 % de F1 macro sur 4 ensembles de données différents d'extraction d'informations de rapports de laboratoire (EHR Datasets 2, 3, 4 et Mendeley Clinical Laboratory Test Reports). Dans l'ensemble, MedGemma 1.5 constitue une ressource open source robuste pour la communauté, conçue comme une base améliorée sur laquelle les développeurs peuvent créer la prochaine génération de systèmes d'IA médicale. Les ressources et tutoriels pour construire à partir de MedGemma 1.5 sont disponibles à l'adresse https://goo.gle/MedGemma.

English

We introduce MedGemma 1.5 4B, the latest model in the MedGemma collection. MedGemma 1.5 expands on MedGemma 1 by integrating additional capabilities: high-dimensional medical imaging (CT/MRI volumes and histopathology whole slide images), anatomical localization via bounding boxes, multi-timepoint chest X-ray analysis, and improved medical document understanding (lab reports, electronic health records). We detail the innovations required to enable these modalities within a single architecture, including new training data, long-context 3D volume slicing, and whole-slide pathology sampling. Compared to MedGemma 1 4B, MedGemma 1.5 4B demonstrates significant gains in these new areas, improving 3D MRI condition classification accuracy by 11% and 3D CT condition classification by 3% (absolute improvements). In whole slide pathology imaging, MedGemma 1.5 4B achieves a 47% macro F1 gain. Additionally, it improves anatomical localization with a 35% increase in Intersection over Union on chest X-rays and achieves a 4% macro accuracy for longitudinal (multi-timepoint) chest x-ray analysis. Beyond its improved multimodal performance over MedGemma 1, MedGemma 1.5 improves on text-based clinical knowledge and reasoning, improving by 5% on MedQA accuracy and 22% on EHRQA accuracy. It also achieves an average of 18% macro F1 on 4 different lab report information extraction datasets (EHR Datasets 2, 3, 4, and Mendeley Clinical Laboratory Test Reports). Taken together, MedGemma 1.5 serves as a robust, open resource for the community, designed as an improved foundation on which developers can create the next generation of medical AI systems. Resources and tutorials for building upon MedGemma 1.5 can be found at https://goo.gle/MedGemma.

Rapport Technique de MedGemma 1.5

MedGemma 1.5 Technical Report

Résumé

Support