기초 에이전트의 발전과 과제: 뇌에서 영감을 받은 지능에서 진화적, 협업적, 안전한 시스템으로

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

March 31, 2025

저자: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

cs.AI

초록

대규모 언어 모델(LLM)의 등장은 인공지능 분야에 혁신적인 변화를 가져왔으며, 다양한 영역에서 정교한 추론, 강력한 인지, 그리고 다재다능한 행동이 가능한 고급 지능형 에이전트의 길을 열었습니다. 이러한 에이전트들이 점점 더 AI 연구와 실용적인 응용 분야를 주도함에 따라, 그들의 설계, 평가, 그리고 지속적인 개선은 복잡하고 다면적인 도전 과제를 제시합니다. 본 조사는 지능형 에이전트를 모듈화된, 뇌에서 영감을 받은 아키텍처 내에서 포괄적으로 개괄하며, 인지과학, 신경과학, 그리고 컴퓨팅 연구로부터의 원칙들을 통합합니다. 우리의 탐구는 네 가지 상호 연결된 부분으로 구조화됩니다. 첫째, 지능형 에이전트의 모듈화된 기초를 탐구하며, 그들의 인지, 지각, 그리고 운영 모듈을 인간 뇌의 유사 기능에 체계적으로 매핑하고, 기억, 세계 모델링, 보상 처리, 그리고 감정과 유사한 시스템과 같은 핵심 구성 요소를 명확히 설명합니다. 둘째, 자기 강화 및 적응적 진화 메커니즘을 논의하며, 에이전트가 어떻게 자율적으로 능력을 개선하고, 동적 환경에 적응하며, AutoML 및 LLM 기반 최적화 전략을 포함한 자동화된 최적화 패러다임을 통해 지속적인 학습을 달성하는지 탐구합니다. 셋째, 협업 및 진화적 다중 에이전트 시스템을 검토하며, 에이전트 상호작용, 협력, 그리고 사회적 구조로부터 발생하는 집단 지능을 조사하고, 인간 사회 역학과의 유사성을 강조합니다. 마지막으로, 안전하고 안전하며 유익한 AI 시스템 구축의 중요한 필요성을 다루며, 내재적 및 외재적 보안 위협, 윤리적 정렬, 견고성, 그리고 신뢰할 수 있는 실세계 배포를 위해 필요한 실질적인 완화 전략을 강조합니다.

English

The advent of large language models (LLMs) has catalyzed a transformative shift in artificial intelligence, paving the way for advanced intelligent agents capable of sophisticated reasoning, robust perception, and versatile action across diverse domains. As these agents increasingly drive AI research and practical applications, their design, evaluation, and continuous improvement present intricate, multifaceted challenges. This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research. We structure our exploration into four interconnected parts. First, we delve into the modular foundation of intelligent agents, systematically mapping their cognitive, perceptual, and operational modules onto analogous human brain functionalities, and elucidating core components such as memory, world modeling, reward processing, and emotion-like systems. Second, we discuss self-enhancement and adaptive evolution mechanisms, exploring how agents autonomously refine their capabilities, adapt to dynamic environments, and achieve continual learning through automated optimization paradigms, including emerging AutoML and LLM-driven optimization strategies. Third, we examine collaborative and evolutionary multi-agent systems, investigating the collective intelligence emerging from agent interactions, cooperation, and societal structures, highlighting parallels to human social dynamics. Finally, we address the critical imperative of building safe, secure, and beneficial AI systems, emphasizing intrinsic and extrinsic security threats, ethical alignment, robustness, and practical mitigation strategies necessary for trustworthy real-world deployment.