エージェンティックAIシステムにおける認知に起因するリスクの理解

要旨

大規模言語モデル（LLM）を搭載したフロンティア・エージェンティックシステムは、人間に類似した認知パターンを示す。これらのシステムが多様な領域に深く統合されるにつれ、その認知的関与は人間社会にとって重大な懸念を引き起こすが、その研究は未だ十分ではない。このギャップを埋めるため、我々は認知能力の拡大によって誘発されるリスクを、その認知範囲によって定義される物理的認知から社会的認知、さらには自己参照的認知に至る三層の枠組みに従って体系的に分析する。各認知レベルに対応して、人間の主体性、自律性、および制御能力に対する潜在的リスクを検討する。最後に、これらのリスクを軽減し、エージェンティックAIシステムの制御可能性を高め、その長期的な安全な開発を確保するための戦略を提案する。

English

Frontier agentic systems powered by large language models (LLMs) exhibit human-like patterns of cognition. As these systems become deeply integrated across different domains, their cognitive engagement raises critical concerns for human society that remain insufficiently studied. To address this gap, we systematically analyze risks induced by expanding cognitive capabilities, following a three-level framework defined by their cognitive scope, from physical cognition to social cognition, and finally to self-referential cognition. We study their potential risks to human agency, autonomy, and control capability, corresponding to each cognitive level. We finally propose strategies to mitigate these risks and enhance the controllability of agentic AI systems, ensuring their long-term safe development.