Prompt2Perturb (P2P): Textgesteuerte Diffusionsbasierte Adversarialangriffe auf Brustultraschallbilder

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Autoren: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Zusammenfassung

Tiefe neuronale Netzwerke (DNNs) bieten erhebliches Potenzial zur Verbesserung der Brustkrebsdiagnose in der medizinischen Bildgebung. Diese Modelle sind jedoch äußerst anfällig für adversarielle Angriffe - kleine, unmerkliche Änderungen, die Klassifizierer in die Irre führen können - was ernsthafte Bedenken hinsichtlich ihrer Zuverlässigkeit und Sicherheit aufwirft. Traditionelle Angriffe basieren auf festen Norm-Störungen, die nicht mit der menschlichen Wahrnehmung übereinstimmen. Im Gegensatz dazu erfordern diffusionsbasierte Angriffe vorab trainierte Modelle, die bei deren Nichtverfügbarkeit erhebliche Datenmengen erfordern und somit den praktischen Einsatz in datenarmen Szenarien einschränken. In der medizinischen Bildgebung ist dies jedoch aufgrund der begrenzten Verfügbarkeit von Datensätzen oft nicht umsetzbar. Aufbauend auf den neuesten Fortschritten bei erlernbaren Anweisungen schlagen wir Prompt2Perturb (P2P) vor, eine neuartige sprachgesteuerte Angriffsmethode, die in der Lage ist, sinnvolle Angriffsbeispiele zu generieren, die durch Textanweisungen gesteuert werden. Während der Phase des Anlernens der Anweisungen nutzt unser Ansatz erlernbare Anweisungen innerhalb des Textencoders, um subtile, aber wirkungsvolle Störungen zu erzeugen, die unmerklich bleiben, während sie das Modell auf gezielte Ergebnisse lenken. Im Gegensatz zu aktuellen auf dem Lernen von Anweisungen basierenden Ansätzen zeichnet sich unser P2P dadurch aus, dass Texteinbettungen direkt aktualisiert werden, was die Notwendigkeit einer Neuschulung von Diffusionsmodellen vermeidet. Darüber hinaus nutzen wir die Erkenntnis, dass die Optimierung nur der frühen umgekehrten Diffusionsschritte die Effizienz steigert und gleichzeitig sicherstellt, dass die erzeugten adversariellen Beispiele subtile Rauschelemente enthalten, wodurch die Ultraschallbildqualität erhalten bleibt, ohne auffällige Artefakte einzuführen. Wir zeigen, dass unsere Methode in FID und LPIPS drei Brustultraschalldatensätze übertroffen hat. Darüber hinaus sind die erzeugten Bilder sowohl in ihrem Erscheinungsbild natürlicher als auch effektiver im Vergleich zu bestehenden adversariellen Angriffen. Unser Code wird öffentlich verfügbar sein unter https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.