Prompt2Perturb (P2P): Ataques adversarios basados en difusión guiados por texto en imágenes de ultrasonido mamario

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Autores: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Resumen

Las redes neuronales profundas (DNNs) ofrecen una promesa significativa para mejorar el diagnóstico del cáncer de mama en imágenes médicas. Sin embargo, estos modelos son altamente susceptibles a ataques adversariales, es decir, cambios pequeños e imperceptibles que pueden inducir a error a los clasificadores, lo que plantea preocupaciones críticas sobre su fiabilidad y seguridad. Los ataques tradicionales se basan en perturbaciones de norma fija, desalineadas con la percepción humana. En contraste, los ataques basados en difusión requieren modelos pre-entrenados, lo que exige una cantidad sustancial de datos cuando estos modelos no están disponibles, limitando su uso práctico en escenarios con escasez de datos. En imágenes médicas, sin embargo, esto a menudo resulta inviable debido a la disponibilidad limitada de conjuntos de datos. Basándonos en los avances recientes en indicaciones aprendibles, proponemos Prompt2Perturb (P2P), un novedoso método de ataque guiado por lenguaje capaz de generar ejemplos de ataque significativos impulsados por instrucciones de texto. Durante la fase de aprendizaje de la indicación, nuestro enfoque aprovecha las indicaciones aprendibles dentro del codificador de texto para crear perturbaciones sutiles pero impactantes que permanecen imperceptibles mientras guían al modelo hacia resultados específicos. En contraste con los enfoques actuales basados en el aprendizaje de indicaciones, nuestro P2P se destaca al actualizar directamente los incrustamientos de texto, evitando la necesidad de volver a entrenar modelos de difusión. Además, aprovechamos el hallazgo de que optimizar solo los primeros pasos de difusión inversa mejora la eficiencia al garantizar que los ejemplos adversariales generados incorporen ruido sutil, preservando así la calidad de la imagen de ultrasonido sin introducir artefactos notables. Demostramos que nuestro método supera a las técnicas de ataque de vanguardia en tres conjuntos de datos de ultrasonido mamario en FID y LPIPS. Además, las imágenes generadas son tanto más naturales en apariencia como más efectivas en comparación con los ataques adversariales existentes. Nuestro código estará disponible públicamente en https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.