에이전트 안전성은 런타임 계약이어야 한다

초록

지배적인 패러다임은 AI 안전성을 RLHF, DPO, 또는 Constitutional AI를 통해 모델 훈련 중에 주입되는 속성으로 취급한다. 우리는 코드를 실행하고, 파일을 변경하고, 메시지를 전송하며, 데이터베이스를 수정하는 자율 에이전트에게 이는 구조적으로 불충분하다고 주장한다. 에이전트 안전성은 하네스가 집행하는 런타임 계약이어야 하며, 그 계약은 두 가지 상호 보완적 측면을 가진다. 예방적 측면은 샌드박스, 권한 게이트, 출력 필터, 궤적 모니터를 통해 위험한 행동이 발생하기 전에 차단한다. 증거적 측면은 좋은 행동이 실제로 발생했다는 검증 가능한 증거를 요구하며, 테스트 실행, 로그 캡처, 파일 diff, 인용 근거와 같은 확실한 증거에 과업 제출을 게이팅한다. 우리는 이러한 입장을 네 가지 공개 증거에 근거하며, 행 수준의 프로토콜과 데이터는 보충 JSON 파일로 공개한다: 문서화된 52건의 AI 에이전트 및 LLM 안전 사고에 대한 조사, 이의가 제기되지 않은 31건의 핵심 사례와 이의가 제기된 1건의 예시 사례로 구성된 허위 완료 감사, 12개의 공개 에이전트 시스템 및 하네스에 대한 궤적 스키마 감사, 그리고 2023~2025년 NeurIPS, ICML, ICLR에 채택된 전체 28,560편의 논문에 대한 제목 수준 감사(세 학회 합산 시 훈련 시점 관련 출판과 배포 시점 관련 출판 간 8~12배의 불균형을 보여준다). 안전성 집행이 필요했던 두 선행 커뮤니티, 즉 컴퓨터 보안과 실험 과학은 예방적 요소와 증거적 요소를 모두 갖춘 런타임 계약으로 수렴했다. 에이전틱 AI는 이제 동일한 압력에 직면해 있다. 우리는 에이전트 궤적 스키마와 증거 체인을 정형화하고, 표준 모니터 합성에 기반한 구성적 게이팅 명제를 제시하며, 연구 의제를 개괄한다. 에이전틱 AI에서 안전성의 올바른 단위는 검증 가능한 증거를 갖춘 궤적이지, 모델이 아니다.

English

The dominant paradigm treats AI safety as a property to be instilled during model training via RLHF, DPO, or Constitutional AI. We argue this is structurally insufficient for autonomous agents that execute code, mutate files, send messages, and modify databases. Agent safety should be a runtime contract enforced by the harness, and the contract has two complementary faces. The preventive face blocks dangerous actions before they happen via sandboxes, permission gates, output filters, and trajectory monitors. The evidential face requires verifiable proof that good actions actually happened, gating task submission on hard evidence such as test runs, log captures, file diffs, and citation grounding. We ground the position in four lines of public evidence, with row-level protocols and data released in the supplementary JSON files: a survey of 52 documented AI-agent and LLM safety incidents, a false-completion audit with 31 non-contested core cases plus one disputed illustrative case, a trajectory-schema audit of 12 public agent systems and harnesses, and a title-level audit of all 28,560 papers accepted at NeurIPS, ICML, and ICLR 2023-2025 showing a pooled 8-12x imbalance between training-time and deployment-time publication. Two prior communities that needed to enforce safety, computer security and the experimental sciences, converged on runtime contracts with both preventive and evidential elements; agentic AI is now under the same pressure. We formalize an Agent Trajectory Schema and Evidence Chain, state a compositional gating proposition based on standard monitor composition, and outline a research agenda. The right unit of safety in agentic AI is the trajectory-with-checkable-evidence, not the model.