エージェント対エージェント：自動プロンプトインジェクション・レッドチーミングのためのエージェント型システム

要旨

プロンプトインジェクションはLLMエージェントに対して重大なセキュリティリスクをもたらす。したがって、これらのリスクを評価し、防御を改善するための訓練データを収集するために、効率的かつ効果的なレッドチーミングが不可欠である。既存の最先端のプロンプトインジェクションレッドチーミング手法は主に強化学習(RL)に依存しており、生成される攻撃者モデルは新しいターゲットLLMに対してうまく汎化しないことが多い。本研究では、プロンプトインジェクションレッドチーミングのためのエージェント型システムであるPIMinerを開発する。訓練中、PIMinerは(データセット、ターゲットモデル)のペアのシーケンスで訓練され、ゼロから戦略ライブラリを構築する。テスト時には、学習された戦略ライブラリを追加の訓練なしで、未見のターゲットLLMに直接転送できる。PIMinerは、テストサンプルごとにターゲットエージェントへの少数のクエリ(例えば10回)のみを必要とする。実験結果は、PIMinerが強力な性能を達成することを示している。IPIArenaでは、Gemini-2.5-Proに対して76.2%のASR、GPT-5.1に対して61.9%のASR、Claude-Sonnet-4.5に対して42.9%のASRを達成する。AgentDojoでは、Gemini-2.5-Proに対して86.7%のASR、GPT-5.1に対して53.3%のASR、Claude-Sonnet-4.5に対して40.0%のASRを達成する。

English

Prompt injection poses significant security risks to LLM agents. Efficient and effective red-teaming is therefore critical, both for evaluating these risks and for collecting training data to improve defenses. Existing state-of-the-art prompt injection red-teaming methods primarily rely on reinforcement learning (RL), producing attacker models that often generalize poorly to new target LLMs. In this work, we develop PIMiner, an agentic system for prompt injection red-teaming. During training, PIMiner is trained on a sequence of (dataset, target model) pairs and builds a strategy library from scratch. At test time, the learned strategy library can be directly transferred to a previously unseen target LLM without additional training. PIMiner requires only a small number of queries to a target agent (e.g., 10) per test sample. Experimental results demonstrate that PIMiner achieves strong performance. On IPIArena, it attains a 76.2% ASR against Gemini-2.5-Pro, 61.9% ASR against GPT-5.1, and 42.9% ASR against Claude-Sonnet-4.5. On AgentDojo, it achieves an 86.7% ASR against Gemini-2.5-Pro, 53.3% ASR against GPT-5.1, and 40.0% ASR against Claude-Sonnet-4.5.