EchoPrime: Модель видения-языка, основанная на многопросмотре видео, для комплексной интерпретации эхокардиографии

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

Авторы: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

Аннотация

Эхокардиография является наиболее широко используемым методом кардиологического изображения, который захватывает ультразвуковые видеоданные для оценки структуры и функции сердца. Искусственный интеллект (ИИ) в эхокардиографии имеет потенциал оптимизировать ручные задачи и улучшить воспроизводимость и точность. Однако большинство моделей ИИ в эхокардиографии представляют собой системы с одним видом и одной задачей, которые не синтезируют дополнительную информацию из нескольких видов, полученных во время полного обследования, что приводит к ограниченной производительности и области применения. Для решения этой проблемы мы представляем EchoPrime - многообзорную, информированную видом, видеооснованную модель основу визуально-языковой модели, обученную на более чем 12 миллионах пар видео-отчетов. EchoPrime использует контрастное обучение для обучения объединенной модели встраивания для всех стандартных видов в комплексном исследовании эхокардиограммы с представлением как редких, так и распространенных заболеваний и диагнозов. Затем EchoPrime использует классификацию видов и модель внимания, информированную видом, для взвешивания видео-специфических интерпретаций, которые точно отображают отношение между эхокардиографическими видами и анатомическими структурами. С помощью интерпретации с использованием поиска, EchoPrime интегрирует информацию из всех видео-эхокардиограмм в комплексном исследовании и выполняет голистическую клиническую интерпретацию эхокардиографии. В наборах данных из двух независимых систем здравоохранения EchoPrime достигает передовой производительности по 23 разнообразным показателям формы и функции сердца, превосходя производительность как задачно-специфических подходов, так и предыдущих базовых моделей. После тщательной клинической оценки EchoPrime может помочь врачам в автоматизированной предварительной оценке комплексной эхокардиографии.

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.