EchoPrime: Un modello di visione-linguaggio informato da viste multi-video per l'interpretazione esaustiva dell'ecocardiografia.

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

Autori: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

Abstract

L'ecocardiografia è la modalità di imaging cardiaco più ampiamente utilizzata, che acquisisce dati video ad ultrasuoni per valutare la struttura e la funzione cardiaca. L'intelligenza artificiale (IA) nell'ecocardiografia ha il potenziale per ottimizzare compiti manuali e migliorare la riproducibilità e la precisione. Tuttavia, la maggior parte dei modelli di IA in ecocardiografia sono sistemi single-view, single-task che non sintetizzano informazioni complementari da visualizzazioni multiple acquisite durante un esame completo, e quindi portano a prestazioni e ambiti di applicazione limitati. Per affrontare questo problema, presentiamo EchoPrime, un modello fondamentale vision-language basato su video, multi-view e view-informed, addestrato su oltre 12 milioni di coppie video-report. EchoPrime utilizza l'apprendimento contrastivo per addestrare un modello di embedding unificato per tutte le visualizzazioni standard in uno studio ecocardiografico completo con rappresentazione di malattie e diagnosi sia rare che comuni. EchoPrime utilizza quindi la classificazione delle visualizzazioni e un modello di attenzione anatomica informato dalla visualizzazione per pesare le interpretazioni specifiche del video che mappano accuratamente la relazione tra le visualizzazioni ecocardiografiche e le strutture anatomiche. Con l'interpretazione potenziata dal recupero, EchoPrime integra le informazioni da tutti i video ecocardiografici in uno studio completo e esegue un'interpretazione ecocardiografica clinica completa ed olistica. Nei dataset di due sistemi sanitari indipendenti, EchoPrime raggiunge prestazioni all'avanguardia su 23 diversi benchmark di forma e funzione cardiaca, superando le prestazioni sia degli approcci specifici per compiti che dei modelli fondamentali precedenti. Dopo una rigorosa valutazione clinica, EchoPrime può assistere i medici nella valutazione preliminare automatizzata dell'ecocardiografia completa.

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.