OpenUS: Ein vollständig quelloffenes Basismodell für die Ultraschallbildanalyse mittels selbstadaptivem maskiertem Kontrastlernen

OpenUS: A Fully Open-Source Foundation Model for Ultrasound Image Analysis via Self-Adaptive Masked Contrastive Learning

November 14, 2025

papers.authors: Xiaoyu Zheng, Xu Chen, Awais Rauf, Qifan Fu, Benedetta Monosi, Felice Rivellese, Myles J. Lewis, Shaogang Gong, Gregory Slabaugh

cs.AI

papers.abstract

Ultraschall (US) ist eines der am weitesten verbreiteten bildgebenden Verfahren in der Medizin, was auf seine geringen Kosten, Portabilität, Echtzeit-Feedback und das Fehlen ionisierender Strahlung zurückzuführen ist. Die Interpretation von Ultraschallbildern ist jedoch nach wie vor stark untersucherabhängig und variiert erheblich zwischen verschiedenen anatomischen Regionen, Aufnahmeprotokollen und Gerätetypen. Diese Variationen, zusammen mit spezifischen Herausforderungen wie Speckle-Rauschen, geringem Kontrast und begrenzten standardisierten Annotationen, behindern die Entwicklung von generalisierbaren, label-effizienten Ultraschall-KI-Modellen. In diesem Artikel stellen wir OpenUS vor, das erste reproduzierbare, quelloffene Ultraschall-Foundation-Model, das auf einer umfangreichen Sammlung öffentlicher Daten aufbaut. OpenUS verwendet ein Vision-Mamba-Backbone, das sowohl lokale als auch globale Langreichweiten-Abhängigkeiten im Bild erfasst. Um während des Pre-Trainings reichhaltige Merkmale zu extrahieren, führen wir ein neuartiges, selbstadaptives Maskierungsframework ein, das kontrastives Lernen mit maskierter Bildmodellierung kombiniert. Diese Strategie integriert die Aufmerksamkeitskarte des Teacher-Modells mit dem Rekonstruktionsverlust des Student-Modells, um klinisch relevante Maskierung adaptiv zu verfeinern und so die Effektivität des Pre-Trainings zu steigern. OpenUS wendet außerdem einen dynamischen Lernplan an, um den Schwierigkeitsgrad des Pre-Training-Prozesses progressiv anzupassen. Um das Foundation-Model zu entwickeln, haben wir den bisher größten öffentlichen Ultraschalldatensatz zusammengestellt, der über 308.000 Bilder aus 42 öffentlich verfügbaren Datensätzen umfasst und verschiedene anatomische Regionen, Institutionen, Bildgebungsgeräte und Krankheitstypen abdeckt. Unser vortrainiertes OpenUS-Model kann leicht für spezifische Downstream-Aufgaben angepasst werden, indem es als Backbone für eine label-effiziente Feinabstimmung dient. Der Code ist verfügbar unter https://github.com/XZheng0427/OpenUS.

English

Ultrasound (US) is one of the most widely used medical imaging modalities, thanks to its low cost, portability, real-time feedback, and absence of ionizing radiation. However, US image interpretation remains highly operator-dependent and varies significantly across anatomical regions, acquisition protocols, and device types. These variations, along with unique challenges such as speckle, low contrast, and limited standardized annotations, hinder the development of generalizable, label-efficient ultrasound AI models. In this paper, we propose OpenUS, the first reproducible, open-source ultrasound foundation model built on a large collection of public data. OpenUS employs a vision Mamba backbone, capturing both local and global long-range dependencies across the image. To extract rich features during pre-training, we introduce a novel self-adaptive masking framework that combines contrastive learning with masked image modeling. This strategy integrates the teacher's attention map with student reconstruction loss, adaptively refining clinically-relevant masking to enhance pre-training effectiveness. OpenUS also applies a dynamic learning schedule to progressively adjust the difficulty of the pre-training process. To develop the foundation model, we compile the largest to-date public ultrasound dataset comprising over 308K images from 42 publicly available datasets, covering diverse anatomical regions, institutions, imaging devices, and disease types. Our pre-trained OpenUS model can be easily adapted to specific downstream tasks by serving as a backbone for label-efficient fine-tuning. Code is available at https://github.com/XZheng0427/OpenUS.