DeepSeek Harness with A.I.Gのセキュリティ評価：間接的プロンプトインジェクションに対する耐性の評価

要旨

我々は、AI-Infra-Guard（A.I.G）を用いてテストを構築し、制御されたテイントを配信し、DSHを実行し、トレースを収集して結果を判定することで、DeepSeek Harness（DSH）における間接プロンプトインジェクションを評価する。本研究は、16の間接コンテンツチャネル、テキストおよびファイルのキャリアモード、35のペイロード目標、1つの未変更ベースライン、12の攻撃手法にわたる14,560回の制御された実行を対象とする。実験では、DSHのエージェントループ、ツールレジストリ、モデルアダプタ、およびセッションイベントパスを維持する。ソースツールと機密シンクはローカルフィクスチャであるため、試行されたアクションは外部への副作用なしに記録される。各トレースは、決定論的ルールベース判定器（RuleJudge）と意味的LLMベース判定器（LLMJudge）の両方で評価する。観測された最大の攻撃成功率は、テキストモードの偽完了攻撃では____の評価で17.0%、ファイルモードの隠しUnicodeでは____の評価で25.5%、ファイルモードのスキルチャネルでは____の評価で16.0%である。____はまた、____よりも部分的なコンプライアンスを多く割り当てる（7.3%対2.0%）。これらの結果を、DSHによるツール結果、追加コンテキスト、およびツール呼び出しポリシーフックの扱いと関連付け、信頼できないコンテンツと機密アクションの間に配置すべき制御策を特定する。我々のコードは https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment で入手できる。

English

We assess indirect prompt injection in DeepSeek Harness (DSH), using AI-Infra-Guard (A.I.G) to construct tests, deliver controlled taint, execute DSH, collect traces, and judge outcomes. The study covers 14,560 controlled executions over 16 indirect-content channels, text and file carrier modes, 35 payload objectives, one unmodified baseline, and 12 attack methods. The experiment preserves DSH's agent loop, tool registry, model adapter, and session-event path; source tools and sensitive sinks are local fixtures, so attempted actions are recorded without external side effects. We evaluate each trace with a deterministic rule-based judge, (RuleJudge), and a semantic LLM-based judge, (LLMJudge). The strongest observed attack success rates are 17.0% under for fake-completion attack in text mode, 25.5% under for hidden Unicode in file mode, and 16.0% under for the skills channel in file mode. also assigns partial compliance more often than (7.3% versus 2.0%). We relate these results to DSH's treatment of tool results, additional contexts, and tool-call policy hooks, then identify controls that should sit between untrusted content and sensitive actions. Our code is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment .