에이전트형 AI 시스템에서 인지 유발 위험의 이해

초록

최첨단 에이전트 시스템(agentic systems)은 대규모 언어 모델(LLM)을 기반으로 구동되며 인간과 유사한 인지 패턴을 보인다. 이러한 시스템이 다양한 영역에 깊이 통합됨에 따라, 그들의 인지적 개입은 인간 사회에 심각한 우려를 야기하지만 이에 대한 연구는 여전히 충분하지 않다. 이러한 공백을 해소하기 위해, 우리는 인지적 범위에 따라 정의된 3단계 프레임워크, 즉 물리적 인지에서 사회적 인지, 그리고 마지막으로 자기 참조적 인지에 이르는 체계를 따라 인지 능력의 확장으로 유발되는 위험을 체계적으로 분석한다. 우리는 각 인지 수준에 대응하여 인간의 행위 주체성(agency), 자율성(autonomy), 통제 능력(control capability)에 대한 잠재적 위험을 연구한다. 마지막으로, 우리는 이러한 위험을 완화하고 에이전트 AI 시스템의 통제 가능성을 강화하여 장기적인 안전한 발전을 보장하기 위한 전략을 제안한다.

English

Frontier agentic systems powered by large language models (LLMs) exhibit human-like patterns of cognition. As these systems become deeply integrated across different domains, their cognitive engagement raises critical concerns for human society that remain insufficiently studied. To address this gap, we systematically analyze risks induced by expanding cognitive capabilities, following a three-level framework defined by their cognitive scope, from physical cognition to social cognition, and finally to self-referential cognition. We study their potential risks to human agency, autonomy, and control capability, corresponding to each cognitive level. We finally propose strategies to mitigate these risks and enhance the controllability of agentic AI systems, ensuring their long-term safe development.