에이전트 대 에이전트: 자동 프롬프트 인젝션 레드 티밍을 위한 에이전트 기반 시스템

초록

프롬프트 인젝션은 LLM 에이전트에게 중대한 보안 위험을 초래한다. 따라서 이러한 위험을 평가하고 방어를 개선하기 위한 훈련 데이터를 수집하기 위해서는 효율적이고 효과적인 레드티밍이 중요하다. 기존의 최첨단 프롬프트 인젝션 레드티밍 방법은 주로 강화 학습(RL)에 의존하며, 생성된 공격자 모델은 새로운 대상 LLM에 대해 일반화가 잘 되지 않는 경우가 많다. 본 연구에서는 프롬프트 인젝션 레드티밍을 위한 에이전트 기반 시스템인 PIMiner를 개발한다. 훈련 중에 PIMiner는 (데이터셋, 대상 모델) 쌍의 시퀀스로 훈련되며 처음부터 전략 라이브러리를 구축한다. 테스트 시에는 학습된 전략 라이브러리를 추가 훈련 없이 이전에 본 적 없는 대상 LLM에 직접 전이할 수 있다. PIMiner는 테스트 샘플당 대상 에이전트에 대한 소수의 쿼리(예: 10회)만 필요로 한다. 실험 결과는 PIMiner가 강력한 성능을 달성함을 보여준다. IPIArena에서 Gemini-2.5-Pro에 대해 76.2% ASR, GPT-5.1에 대해 61.9% ASR, Claude-Sonnet-4.5에 대해 42.9% ASR을 달성한다. AgentDojo에서는 Gemini-2.5-Pro에 대해 86.7% ASR, GPT-5.1에 대해 53.3% ASR, Claude-Sonnet-4.5에 대해 40.0% ASR을 달성한다.

English

Prompt injection poses significant security risks to LLM agents. Efficient and effective red-teaming is therefore critical, both for evaluating these risks and for collecting training data to improve defenses. Existing state-of-the-art prompt injection red-teaming methods primarily rely on reinforcement learning (RL), producing attacker models that often generalize poorly to new target LLMs. In this work, we develop PIMiner, an agentic system for prompt injection red-teaming. During training, PIMiner is trained on a sequence of (dataset, target model) pairs and builds a strategy library from scratch. At test time, the learned strategy library can be directly transferred to a previously unseen target LLM without additional training. PIMiner requires only a small number of queries to a target agent (e.g., 10) per test sample. Experimental results demonstrate that PIMiner achieves strong performance. On IPIArena, it attains a 76.2% ASR against Gemini-2.5-Pro, 61.9% ASR against GPT-5.1, and 42.9% ASR against Claude-Sonnet-4.5. On AgentDojo, it achieves an 86.7% ASR against Gemini-2.5-Pro, 53.3% ASR against GPT-5.1, and 40.0% ASR against Claude-Sonnet-4.5.