Промпт2Пертурб (P2P): Текстово-управляемые атаки с помощью диффузии на медицинские изображения молочных желез, проведенные с целью их изменения.

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Авторы: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Аннотация

Глубокие нейронные сети (DNN) обладают значительным потенциалом для улучшения диагностики рака молочной железы в медицинском изображении. Однако эти модели чрезвычайно уязвимы к атакам злоумышленников - небольшим, незаметным изменениям, способным ввести в заблуждение классификаторы, что вызывает серьезные опасения относительно их надежности и безопасности. Традиционные атаки основаны на фиксированных нормах возмущений, не соответствующих человеческому восприятию. В отличие от этого, атаки на основе диффузии требуют предварительно обученных моделей, что требует значительного объема данных в случае их отсутствия, ограничивая практическое использование в сценариях с ограниченным объемом данных. Однако в медицинском изображении это часто невозможно из-за ограниченной доступности наборов данных. Основываясь на последних достижениях в области обучаемых подсказок, мы предлагаем метод атаки Prompt2Perturb (P2P), способный генерировать содержательные примеры атак, управляемые текстовыми инструкциями. Во время фазы обучения подсказок наш подход использует обучаемые подсказки внутри текстового кодировщика для создания тонких, но существенных возмущений, оставаясь незаметными, в то время направляя модель к целевым результатам. В отличие от текущих подходов к обучению подсказок, наш P2P выделяется тем, что напрямую обновляет текстовые вложения, избегая необходимости повторного обучения моделей диффузии. Кроме того, мы используем результат, показывающий, что оптимизация только начальных обратных шагов диффузии повышает эффективность, обеспечивая включение тонкого шума в созданные атакующие примеры, сохраняя качество ультразвукового изображения без введения заметных артефактов. Мы показываем, что наш метод превосходит современные техники атаки на трех наборах данных ультразвукового изображения молочной железы по FID и LPIPS. Более того, сгенерированные изображения как по внешнему виду, так и по эффективности превосходят существующие атаки. Наш код будет общедоступен по ссылке https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.