セルフホステッドAIエージェントに対する自己状態攻撃：OS防御はどこまで通用するか？

要旨

自己ホスト型AIエージェントは、自らのメモリや設定ファイルの読み書きにより動作する。エージェントは、自身の状態の破損を介して侵害される可能性がある。これは、正規のOSシステムコールの呼び出しによって実現される侵害である。我々は、この種の脅威を自己状態攻撃と定義する。本論文では、この攻撃分類に対するOSの耐性を調査する。形式的には、攻撃空間を4軸（標的、メカニズム、粒度、時間性）で特徴づけ、防御、検知、復旧の構造的な限界を調査し、検出可能性に関するワークロード条件付きの見解を導入する。この枠組みを具体化するために、異なるワークロードプロファイルで動作する代表的な自己ホスト型エージェントからリアルタイムの動作トレースを収集し、攻撃空間を23のセルからなる行列として実現し、実際の自己状態ファイルに対する43の具体的操作として定義し、それらを収集したトレースに注入した。その後、標準的な防御戦略とワークロード条件付きの防御戦略の両方を評価した。実証結果は、多層防御スタック（命令層と設定層へのアクセス制御による防御、メモリ層へのワークロード条件付き検知、復旧のための定期的バックアップ）がほとんどの攻撃セルに対して有効である一方、OSレベルでは構造的に識別不可能な小さな残余攻撃領域が残ることを示している。これらの知見は、新たに確立された自己状態攻撃という分類に対して、OSレベルの防御を再検討する必要があり、この分野における新たな研究の方向性を開く可能性があることを示唆している。

English

Self-hosted AI agents read and write their own memory and configuration files to function. An agent may get compromised via corruption of its own state -- a compromise realized via legitimate OS system call invocation. We refer to this class of threats as self-state attacks. In this paper, we investigate the OS resilience to this class of attacks. Formally, we characterize a four-axis attack space (Target, Mechanism, Granularity, Temporal); investigate the structural limits of prevention, detection, and recovery; and introduce a workload-conditioned view of detectability. To instantiate the framework, we collect live activity traces from a representative self-hosted agent running across distinct workload profiles, and realize the attack space as a 23-cell matrix, 43 concrete operations on real self-state files, and injected into those traces. We then evaluate both canonical and workload-conditioned defense strategies. The empirical results show that a layered defense stack (access-control prevention on the instruction and configuration layers, workload-conditioned detection on the memory layer, and periodic backup for recovery) is effective on most attack cells while a small residual attack surface remains structurally indistinguishable at the OS level. These findings suggest that against the newly established class of self-state attacks, OS-level defense needs to be reconsidered, potentially opening new research directions in the field.