Prompt2Perturb (P2P): Ataques adversariais baseados em difusão guiados por texto em imagens de ultrassom de mama.

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Autores: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Resumo

Redes neurais profundas (DNNs) oferecem uma promessa significativa para melhorar o diagnóstico de câncer de mama em imagens médicas. No entanto, esses modelos são altamente suscetíveis a ataques adversariais - pequenas alterações imperceptíveis que podem enganar classificadores - levantando preocupações críticas sobre sua confiabilidade e segurança. Ataques tradicionais dependem de perturbações com norma fixa, que não se alinham com a percepção humana. Em contraste, ataques baseados em difusão exigem modelos pré-treinados, demandando uma quantidade substancial de dados quando esses modelos não estão disponíveis, limitando o uso prático em cenários com escassez de dados. Na área de imagens médicas, no entanto, isso muitas vezes é inviável devido à disponibilidade limitada de conjuntos de dados. Construindo sobre avanços recentes em prompts aprendíveis, propomos o Prompt2Perturb (P2P), um novo método de ataque guiado por linguagem capaz de gerar exemplos de ataque significativos impulsionados por instruções de texto. Durante a fase de aprendizado do prompt, nossa abordagem aproveita prompts aprendíveis dentro do codificador de texto para criar perturbações sutis, porém impactantes, que permanecem imperceptíveis enquanto guiam o modelo em direção a resultados específicos. Em contraste com abordagens atuais baseadas em aprendizado de prompts, nosso P2P se destaca ao atualizar diretamente os embeddings de texto, evitando a necessidade de re-treinar modelos de difusão. Além disso, aproveitamos a descoberta de que otimizar apenas as etapas iniciais de difusão reversa aumenta a eficiência, garantindo que os exemplos adversariais gerados incorporem ruído sutil, preservando assim a qualidade da imagem de ultrassom sem introduzir artefatos perceptíveis. Mostramos que nosso método supera técnicas de ataque de ponta em três conjuntos de dados de ultrassom de mama em FID e LPIPS. Além disso, as imagens geradas são mais naturais em aparência e mais eficazes em comparação com os ataques adversariais existentes. Nosso código estará publicamente disponível em https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.