EchoPrime: 医用超音波心エコー画像を包括的に解釈するためのマルチビデオビュー情報を考慮したビジョン言語モデル

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

著者: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

要旨

心エコー検査は、心臓の構造と機能を評価するために超音波ビデオデータを取得する、最も広く使用されている心臓画像診断法です。心エコー検査における人工知能（AI）は、手作業のタスクを効率化し、再現性と精度を向上させる潜在能力を持っています。しかし、ほとんどの心エコー検査AIモデルは、フル検査中にキャプチャされた複数のビューからの補完情報を統合しない単一ビュー、単一タスクのシステムであり、そのため性能と応用範囲が限定されています。この問題に対処するために、私たちはEchoPrimeを導入します。これは、1,200万以上のビデオレポートペアでトレーニングされたマルチビュー、ビュー情報を考慮に入れた、ビデオベースのビジョン言語基盤モデルです。EchoPrimeは、全体的な心エコー検査でのすべての標準ビューのための統一された埋め込みモデルを訓練するために対比学習を使用し、希少および一般的な疾患や診断の表現を行います。その後、EchoPrimeはビュー分類とビュー情報を考慮に入れた解剖学的注意モデルを利用して、心エコー画像のビューと解剖学的構造の関係を正確にマッピングするためにビデオ固有の解釈に重みを付けます。リトリーバル増強解釈を用いて、EchoPrimeは包括的な研究でのすべての心エコー検査ビデオからの情報を統合し、包括的な臨床心エコー検査解釈を行います。2つの独立した医療システムのデータセットでは、EchoPrimeは心臓の形態と機能の23の異なるベンチマークで最先端のパフォーマンスを達成し、タスク固有のアプローチや以前の基盤モデルのパフォーマンスを上回ります。厳格な臨床評価に続いて、EchoPrimeは包括的な心エコー検査の自動初期評価において医師を支援することができます。

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.