DeepSeek Harness의 A.I.G 보안 평가: 간접 프롬프트 인젝션에 대한 저항성 평가

초록

우리는 AI-Infra-Guard(A.I.G)를 활용하여 테스트 구성, 통제된 테인트 전달, DSH 실행, 트레이스 수집, 결과 판정을 수행함으로써 DeepSeek Harness(DSH)에서의 간접 프롬프트 인젝션을 평가한다. 본 연구는 16개 간접 콘텐츠 채널, 텍스트 및 파일 캐리어 모드, 35개 페이로드 목표, 수정되지 않은 하나의 베이스라인, 12가지 공격 방법에 걸친 14,560회의 통제된 실행을 다룬다. 실험은 DSH의 에이전트 루프, 도구 레지스트리, 모델 어댑터, 세션 이벤트 경로를 보존한다. 소스 도구와 민감한 싱크는 로컬 픽스처이므로 시도된 작업은 외부 부작용 없이 기록된다. 우리는 각 트레이스를 결정적 규칙 기반 판정기(RuleJudge)와 의미론적 LLM 기반 판정기(LLMJudge)로 평가한다. 관찰된 가장 높은 공격 성공률은 텍스트 모드의 가짜 완료 공격에서 RuleJudge 기준 17.0%, 파일 모드의 숨은 유니코드에서 LLMJudge 기준 25.5%, 파일 모드의 스킬 채널에서 LLMJudge 기준 16.0%이다. 또한 LLMJudge는 RuleJudge보다 부분 준수를 더 자주 부여한다(7.3% 대 2.0%). 우리는 이러한 결과를 DSH의 도구 결과 처리, 추가 컨텍스트, 도구 호출 정책 훅과 관련지어 설명한 다음, 신뢰할 수 없는 콘텐츠와 민감한 작업 사이에 있어야 하는 통제 수단을 식별한다. 우리의 코드는 https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment 에서 이용할 수 있다.

English

We assess indirect prompt injection in DeepSeek Harness (DSH), using AI-Infra-Guard (A.I.G) to construct tests, deliver controlled taint, execute DSH, collect traces, and judge outcomes. The study covers 14,560 controlled executions over 16 indirect-content channels, text and file carrier modes, 35 payload objectives, one unmodified baseline, and 12 attack methods. The experiment preserves DSH's agent loop, tool registry, model adapter, and session-event path; source tools and sensitive sinks are local fixtures, so attempted actions are recorded without external side effects. We evaluate each trace with a deterministic rule-based judge, (RuleJudge), and a semantic LLM-based judge, (LLMJudge). The strongest observed attack success rates are 17.0% under for fake-completion attack in text mode, 25.5% under for hidden Unicode in file mode, and 16.0% under for the skills channel in file mode. also assigns partial compliance more often than (7.3% versus 2.0%). We relate these results to DSH's treatment of tool results, additional contexts, and tool-call policy hooks, then identify controls that should sit between untrusted content and sensitive actions. Our code is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment .