PrivacyPeek: LLMベースのエージェントの取得内容を監査する—発言内容だけでなく

要旨

LLMベースのエージェントは急速に進歩しており、ユーザーに代わって外部ツールを自律的に呼び出し、複数ステップにわたるタスクを完了させる。しかし、エージェントはタスクに必要な範囲を超えてセンシティブ情報を取得することが多い。既存のプライバシーベンチマークは、エージェントの応答や外部アクションが何を開示するかを監査しているが、データが最初にエージェントのコンテキストに入る取得段階は見落としている。過剰取得された情報は、一度の不注意なアクションや攻撃によって、完全な漏えいに直結し得る。この問題の広がりを評価するため、我々は取得段階におけるLLMベースエージェントのプライバシー漏えいを評価するベンチマークPrivacyPeekを提案する。PrivacyPeekには、7つの取得行動と16の応用分野にわたる1,182件のケースが含まれる。具体的には、取得検査（Acquisition Inspection）がエージェントのツール呼び出し履歴を調べ、呼び出したツールと受け取ったデータの両方を検証することで、タスクの範囲を超えてセンシティブ情報を取得した場合を検出する。続いてプローブ誘発（Probe Elicitation）が追跡プローブを発行し、攻撃者が、エージェントが取得したものの未開示のセンシティブ情報をどの程度容易に引き出せるかを測定する。4つのモデルファミリーにわたる10種類のLLMベースエージェントによる実験では、センシティブ情報の不要な取得が広く見られることが示された。さらに、タスク完了能力と取得段階の漏えいの間には相関があることが観察される。プロンプトレベルの防御策は取得段階の漏えいのごく一部しか低減できず、大部分は軽減されないままである。これらの結果は、取得段階のプライバシー監査が緊急かつ必要であることを示している。データセットとコードはhttps://github.com/Xuan269/PrivacyPeek-Resourceで公開している。

English

LLM-based agents are rapidly advancing, autonomously invoking external tools to complete multi-step tasks for users. However, agents often acquire more sensitive information than the task requires. Existing privacy benchmarks audit what the agent's response or outgoing actions disclose, but overlook the acquisition stage where data first enters the agent's context. The over-acquired information is then one careless action or one attack away from an outright leak. To assess its prevalence, we introduce PrivacyPeek, a benchmark for evaluating acquisition-stage privacy leakage of LLM-based agents, with 1{,}182 cases across 7 acquisition behaviours and 16 application domains. Specifically, Acquisition Inspection examines the agent's tool-call trajectory, both the tools it invokes and the data it receives, to detect when it acquires sensitive information beyond the task scope. Probe Elicitation then issues a follow-up probe and measures how readily an attacker could elicit sensitive information the agent acquired but did not disclose. Our experiments on 10 LLM-based agents across 4 model families show that the unnecessary acquisition of sensitive information is widespread. In addition, we observe a correlation between the task-completion capability and acquisition-stage leakage. Prompt-level defences reduce only a small fraction of acquisition-stage leakage, leaving the majority unmitigated. These results make auditing acquisition-stage privacy both urgent and necessary. Our dataset and code are available at https://github.com/Xuan269/PrivacyPeek-Resource.