EchoPrime : Un modèle vision-langage informé par une vue multi-vidéo pour l'interprétation complète de l'échocardiographie

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

Auteurs: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

Résumé

L'échocardiographie est la modalité d'imagerie cardiaque la plus largement utilisée, capturant des données vidéo par ultrasons pour évaluer la structure et la fonction cardiaques. L'intelligence artificielle (IA) en échocardiographie a le potentiel de rationaliser les tâches manuelles et d'améliorer la reproductibilité et la précision. Cependant, la plupart des modèles d'IA en échocardiographie sont des systèmes à vue unique et à tâche unique qui ne synthétisent pas les informations complémentaires provenant de plusieurs vues capturées lors d'un examen complet, ce qui entraîne des performances et des applications limitées. Pour résoudre ce problème, nous présentons EchoPrime, un modèle fondamental vision-langage basé sur des vidéos, multi-vues et informé par les vues, formé sur plus de 12 millions de paires vidéo-rapport. EchoPrime utilise l'apprentissage contrastif pour former un modèle d'incorporation unifié pour toutes les vues standard dans une étude échocardiographique complète avec la représentation des maladies et diagnostics rares et courants. EchoPrime utilise ensuite la classification des vues et un modèle d'attention anatomique informé par les vues pour pondérer les interprétations spécifiques aux vidéos qui cartographient précisément la relation entre les vues échocardiographiques et les structures anatomiques. Avec une interprétation augmentée par la récupération, EchoPrime intègre les informations de toutes les vidéos échocardiographiques dans une étude complète et réalise une interprétation clinique échocardiographique complète et holistique. Dans des ensembles de données de deux systèmes de santé indépendants, EchoPrime atteint des performances de pointe sur 23 critères divers de forme et de fonction cardiaques, dépassant les performances des approches spécifiques aux tâches et des modèles fondamentaux précédents. Après une évaluation clinique rigoureuse, EchoPrime peut aider les médecins dans l'évaluation préliminaire automatisée de l'échocardiographie complète.

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.