EchoPrime: Un modelo de visión y lenguaje informado por múltiples vistas de video para la interpretación integral de ecocardiografías.

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

Autores: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

Resumen

La ecocardiografía es la modalidad de imagen cardíaca más ampliamente utilizada, capturando datos de video de ultrasonido para evaluar la estructura y función cardíaca. La inteligencia artificial (IA) en ecocardiografía tiene el potencial de agilizar tareas manuales y mejorar la reproducibilidad y precisión. Sin embargo, la mayoría de los modelos de IA en ecocardiografía son sistemas de una sola vista y una sola tarea que no sintetizan información complementaria de múltiples vistas capturadas durante un examen completo, lo que resulta en un rendimiento limitado y un alcance de aplicaciones restringido. Para abordar este problema, presentamos EchoPrime, un modelo de base visión-lenguaje basado en video, multi-vista e informado por vista, entrenado con más de 12 millones de pares de video-informe. EchoPrime utiliza el aprendizaje por contraste para entrenar un modelo de incrustación unificado para todas las vistas estándar en un estudio ecocardiográfico completo con representación de enfermedades y diagnósticos tanto raros como comunes. Luego, EchoPrime utiliza la clasificación de vistas y un modelo de atención anatómica informado por vista para ponderar interpretaciones específicas de video que mapean con precisión la relación entre las vistas ecocardiográficas y las estructuras anatómicas. Con la interpretación aumentada por recuperación, EchoPrime integra información de todos los videos ecocardiográficos en un estudio completo y realiza una interpretación clínica ecocardiográfica integral y holística. En conjuntos de datos de dos sistemas de atención médica independientes, EchoPrime logra un rendimiento de vanguardia en 23 diversos puntos de referencia de forma y función cardíaca, superando el rendimiento tanto de enfoques específicos de tarea como de modelos de base anteriores. Tras una rigurosa evaluación clínica, EchoPrime puede ayudar a los médicos en la evaluación preliminar automatizada de ecocardiografía integral.

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.