Prompt2Perturb（P2P）：テキストによる誘導を受けた拡散ベースの乳房超音波画像への敵対的攻撃

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

著者: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

要旨

深層ニューラルネットワーク（DNN）は、医用画像診断における乳がん診断の向上に大きな可能性をもたらします。しかし、これらのモデルは、分類器を誤らせる微小で認識できない変更を行う敵対的攻撃に非常に脆弱であり、信頼性とセキュリティに関する重要な懸念を引き起こしています。従来の攻撃は、固定ノルム摂動に依存し、人間の知覚とは異なります。これに対し、拡散ベースの攻撃は、事前にトレーニングされたモデルを必要とし、これらのモデルが利用できない場合には大量のデータを要求し、データが不足しているシナリオでの実用を制限します。しかしながら、医用画像では、データセットの入手が制限されているため、これはしばしば実現不可能です。最近の学習可能なプロンプトの進展に基づき、我々はPrompt2Perturb（P2P）という新しい言語による攻撃手法を提案します。この手法は、テキストの指示によって駆動される意味のある攻撃例を生成することができます。プロンプト学習フェーズでは、我々の手法は、テキストエンコーダ内の学習可能なプロンプトを活用して、微妙でありながら効果的な摂動を作成し、モデルを目標とする結果に誘導しながら、認識できないままにします。現在のプロンプト学習ベースの手法とは対照的に、我々のP2Pは、テキスト埋め込みを直接更新することで、拡散モデルの再トレーニングを回避する点で際立っています。さらに、初期の逆拡散ステップのみを最適化することで効率を向上させ、生成された敵対的例に微妙なノイズを組み込みながら、超音波画像の品質を損なうことなく、目立つアーティファクトを導入しません。我々の手法が、FIDとLPIPSにおいて、3つの乳がん超音波データセット全体で最先端の攻撃手法を凌駕することを示します。さらに、生成された画像は、外観がより自然であり、既存の敵対的攻撃と比較してより効果的です。我々のコードは公開されます：https://github.com/yasamin-med/P2P。

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.