Prompt2Perturb (P2P) : Attaques adversariales basées sur la diffusion guidée par le texte sur les images échographiques du sein

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Auteurs: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Résumé

Les réseaux neuronaux profonds (DNN) offrent un potentiel significatif pour améliorer le diagnostic du cancer du sein en imagerie médicale. Cependant, ces modèles sont très sensibles aux attaques adverses - de petits changements imperceptibles qui peuvent induire en erreur les classificateurs - soulevant des préoccupations critiques quant à leur fiabilité et leur sécurité. Les attaques traditionnelles reposent sur des perturbations à norme fixe, ne correspondant pas à la perception humaine. En revanche, les attaques basées sur la diffusion nécessitent des modèles pré-entraînés, exigeant des données substantielles lorsque ces modèles ne sont pas disponibles, limitant leur utilisation pratique dans des scénarios à faible disponibilité de données. Cependant, dans le domaine de l'imagerie médicale, cela est souvent irréalisable en raison de la disponibilité limitée des ensembles de données. S'appuyant sur les récents progrès en matière de consignes apprenantes, nous proposons Prompt2Perturb (P2P), une nouvelle méthode d'attaque guidée par le langage capable de générer des exemples d'attaque significatifs basés sur des instructions textuelles. Au cours de la phase d'apprentissage de la consigne, notre approche exploite des consignes apprenantes au sein de l'encodeur de texte pour créer des perturbations subtiles mais impactantes qui restent imperceptibles tout en guidant le modèle vers des résultats ciblés. Contrairement aux approches actuelles basées sur l'apprentissage de consignes, notre P2P se distingue en mettant à jour directement les plongements de texte, évitant ainsi la nécessité de ré-entraîner les modèles de diffusion. De plus, nous exploitons la découverte selon laquelle l'optimisation uniquement des premières étapes de diffusion inverse améliore l'efficacité tout en garantissant que les exemples adverses générés intègrent un bruit subtil, préservant ainsi la qualité de l'image échographique sans introduire d'artefacts perceptibles. Nous montrons que notre méthode surpasse les techniques d'attaque de pointe sur trois ensembles de données échographiques du sein en FID et LPIPS. De plus, les images générées sont à la fois plus naturelles en apparence et plus efficaces par rapport aux attaques adverses existantes. Notre code sera publiquement disponible sur https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.