エージェントの安全性はランタイム契約であるべき

要旨

支配的なパラダイムは、AI安全性をRLHF、DPO、またはConstitutional AI（憲法的AI）によってモデル訓練中に注入される特性として扱う。我々は、コードを実行し、ファイルを変更し、メッセージを送信し、データベースを更新する自律エージェントにとって、これは構造的に不十分であると主張する。エージェント安全性は、ハーネスによって強制される実行時契約であるべきであり、その契約には互いに補完し合う二つの側面がある。予防的側面は、サンドボックス、許可ゲート、出力フィルタ、軌跡モニタを通じて、危険な行動が発生する前にそれを阻止する。証拠的側面は、適切な行動が実際に行われたことの検証可能な証明を要求し、テスト実行、ログ取得、ファイル差分、引用の根拠付けといった確固たる証拠にタスク提出を条件付ける。我々は、行レベルのプロトコルとデータを補足JSONファイルで公開しつつ、この立場を四つの系統の公開証拠に基づいて裏付ける。すなわち、記録された52件のAIエージェントおよびLLMの安全事故の調査、争いのない中核事例31件と論争のある例示事例1件からなる偽完了監査、12の公開エージェントシステムとハーネスに対する軌跡スキーマ監査、そしてNeurIPS、ICML、ICLRの2023〜2025年に採択された全28,560件の論文に対するタイトルレベル監査（訓練時と展開時の発表件数の間に、総合すると8〜12倍の不均衡があることを示す）である。安全性を強制する必要があった二つの先行コミュニティ、すなわちコンピュータセキュリティと実験科学は、予防的要素と証拠的要素の両方を備えた実行時契約に収束した。エージェンティックAIは今、同じ圧力にさらされている。我々は、エージェント軌跡スキーマと証拠連鎖を形式化し、標準的なモニタ合成に基づく合成的ゲーティングの命題を述べ、研究課題の概要を示す。エージェンティックAIにおける安全性の適切な単位は、検証可能な証拠を伴う軌跡であり、モデルではない。

English

The dominant paradigm treats AI safety as a property to be instilled during model training via RLHF, DPO, or Constitutional AI. We argue this is structurally insufficient for autonomous agents that execute code, mutate files, send messages, and modify databases. Agent safety should be a runtime contract enforced by the harness, and the contract has two complementary faces. The preventive face blocks dangerous actions before they happen via sandboxes, permission gates, output filters, and trajectory monitors. The evidential face requires verifiable proof that good actions actually happened, gating task submission on hard evidence such as test runs, log captures, file diffs, and citation grounding. We ground the position in four lines of public evidence, with row-level protocols and data released in the supplementary JSON files: a survey of 52 documented AI-agent and LLM safety incidents, a false-completion audit with 31 non-contested core cases plus one disputed illustrative case, a trajectory-schema audit of 12 public agent systems and harnesses, and a title-level audit of all 28,560 papers accepted at NeurIPS, ICML, and ICLR 2023-2025 showing a pooled 8-12x imbalance between training-time and deployment-time publication. Two prior communities that needed to enforce safety, computer security and the experimental sciences, converged on runtime contracts with both preventive and evidential elements; agentic AI is now under the same pressure. We formalize an Agent Trajectory Schema and Evidence Chain, state a compositional gating proposition based on standard monitor composition, and outline a research agenda. The right unit of safety in agentic AI is the trajectory-with-checkable-evidence, not the model.