Prompt2Perturb (P2P): Tekstgestuurde diffusie-gebaseerde aanvallen op borst echografiebeelden.

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Auteurs: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Samenvatting

Diepe neurale netwerken (DNN's) bieden aanzienlijke belofte voor het verbeteren van de diagnose van borstkanker in medische beeldvorming. Deze modellen zijn echter zeer vatbaar voor aanvallende aanvallen - kleine, onmerkbare veranderingen die classificatoren kunnen misleiden - wat kritieke zorgen oproept over hun betrouwbaarheid en veiligheid. Traditionele aanvallen vertrouwen op vaste-norm verstoringen die niet overeenkomen met de menselijke perceptie. In tegenstelling hiermee vereisen diffusiegebaseerde aanvallen vooraf getrainde modellen, wat aanzienlijke gegevens vereist wanneer deze modellen niet beschikbaar zijn, waardoor praktisch gebruik in scenario's met weinig gegevens wordt beperkt. In medische beeldvorming is dit echter vaak onhaalbaar vanwege de beperkte beschikbaarheid van datasets. Voortbouwend op recente ontwikkelingen in leerzame aanwijzingen, stellen we Prompt2Perturb (P2P) voor, een nieuw taalgestuurd aanvalsmethode die in staat is om betekenisvolle aanvalvoorbeelden te genereren op basis van tekstinstructies. Tijdens de fase van het leren van de aanwijzing, maakt onze benadering gebruik van leerzame aanwijzingen binnen de tekstencoder om subtiele, maar impactvolle verstoringen te creëren die onmerkbaar blijven terwijl ze het model naar gerichte resultaten leiden. In tegenstelling tot huidige op promptleren gebaseerde benaderingen, onderscheidt onze P2P zich door direct tekst-embeddings bij te werken, waardoor de noodzaak om diffusiemodellen opnieuw te trainen wordt vermeden. Bovendien maken we gebruik van de bevinding dat het optimaliseren van alleen de vroege omgekeerde diffusiestappen de efficiëntie verhoogt terwijl ervoor wordt gezorgd dat de gegenereerde aanvalvoorbeelden subtiele ruis bevatten, waardoor de kwaliteit van de echografie behouden blijft zonder merkbare artefacten te introduceren. We tonen aan dat onze methode beter presteert dan state-of-the-art aanvaltechnieken over drie borst-echografiedatasets in FID en LPIPS. Bovendien zijn de gegenereerde beelden zowel natuurlijker van uiterlijk als effectiever in vergelijking met bestaande aanvallende aanvallen. Onze code zal openbaar beschikbaar zijn op https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.