자가 상태 공격을 통한 자체 호스팅 AI 에이전트의 보안: OS 방어는 어디까지 가능한가?

초록

자체 호스팅 AI 에이전트는 작동을 위해 자신의 메모리와 설정 파일을 읽고 씁니다. 에이전트는 자신의 상태 손상을 통해 손상될 수 있으며, 이는 합법적인 운영체제 시스템 호출을 통해 실현됩니다. 이러한 위협 부류를 우리는 자체 상태 공격(self-state attacks)이라고 부릅니다. 본 논문에서는 이러한 공격에 대한 운영체제의 복원력을 조사합니다. 공식적으로, 우리는 4축 공격 공간(대상, 메커니즘, 세분성, 시간성)을 특성화하고, 예방, 탐지 및 복구의 구조적 한계를 조사하며, 작업 부하 조건에 따른 탐지 가능성 관점을 도입합니다. 프레임워크를 구체화하기 위해, 다양한 작업 부하 프로필에서 실행되는 대표적인 자체 호스팅 에이전트로부터 실시간 활동 추적을 수집하고, 공격 공간을 23개 셀 행렬로 구현하며, 실제 자체 상태 파일에 대한 43개의 구체적 작업을 해당 추적에 주입합니다. 그런 다음 정규 방어 전략과 작업 부하 조건 방어 전략을 모두 평가합니다. 실증 결과는 계층적 방어 스택(명령어 및 설정 계층의 접근 제어 예방, 메모리 계층의 작업 부하 조건 탐지, 복구를 위한 주기적 백업)이 대부분의 공격 셀에 효과적이지만, 소수의 잔여 공격 표면은 운영체제 수준에서 구조적으로 식별 불가능한 상태로 남아 있음을 보여줍니다. 이러한 발견은 새롭게 확립된 자체 상태 공격 부류에 대해 운영체제 수준의 방어를 재고해야 하며, 잠재적으로 해당 분야의 새로운 연구 방향을 열 수 있음을 시사합니다.

English

Self-hosted AI agents read and write their own memory and configuration files to function. An agent may get compromised via corruption of its own state -- a compromise realized via legitimate OS system call invocation. We refer to this class of threats as self-state attacks. In this paper, we investigate the OS resilience to this class of attacks. Formally, we characterize a four-axis attack space (Target, Mechanism, Granularity, Temporal); investigate the structural limits of prevention, detection, and recovery; and introduce a workload-conditioned view of detectability. To instantiate the framework, we collect live activity traces from a representative self-hosted agent running across distinct workload profiles, and realize the attack space as a 23-cell matrix, 43 concrete operations on real self-state files, and injected into those traces. We then evaluate both canonical and workload-conditioned defense strategies. The empirical results show that a layered defense stack (access-control prevention on the instruction and configuration layers, workload-conditioned detection on the memory layer, and periodic backup for recovery) is effective on most attack cells while a small residual attack surface remains structurally indistinguishable at the OS level. These findings suggest that against the newly established class of self-state attacks, OS-level defense needs to be reconsidered, potentially opening new research directions in the field.