Достижения и вызовы в области базовых агентов: от интеллекта, вдохновленного мозгом, до эволюционных, коллаборативных и безопасных систем

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

March 31, 2025

Авторы: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

cs.AI

Аннотация

Появление крупных языковых моделей (LLM) стало катализатором трансформационных изменений в области искусственного интеллекта, открыв путь для создания продвинутых интеллектуальных агентов, способных к сложным рассуждениям, устойчивому восприятию и универсальным действиям в различных областях. По мере того как эти агенты всё больше влияют на исследования и практические применения ИИ, их проектирование, оценка и постоянное совершенствование представляют собой сложные, многогранные задачи. Данный обзор предлагает всесторонний взгляд, рассматривая интеллектуальных агентов в рамках модульной, вдохновлённой мозгом архитектуры, которая интегрирует принципы когнитивной науки, нейробиологии и вычислительных исследований. Мы структурируем наше исследование в четыре взаимосвязанные части. Во-первых, мы углубляемся в модульную основу интеллектуальных агентов, систематически сопоставляя их когнитивные, перцептивные и операционные модули с аналогичными функциями человеческого мозга, а также раскрывая ключевые компоненты, такие как память, моделирование мира, обработка вознаграждений и системы, напоминающие эмоции. Во-вторых, мы обсуждаем механизмы самоулучшения и адаптивной эволюции, исследуя, как агенты автономно совершенствуют свои способности, адаптируются к динамичным средам и достигают непрерывного обучения через автоматизированные парадигмы оптимизации, включая новые стратегии AutoML и оптимизации на основе LLM. В-третьих, мы рассматриваем коллаборативные и эволюционные мультиагентные системы, изучая коллективный интеллект, возникающий в результате взаимодействия агентов, их сотрудничества и социальных структур, подчеркивая параллели с человеческой социальной динамикой. Наконец, мы обращаемся к критически важной задаче создания безопасных, защищённых и полезных систем ИИ, акцентируя внимание на внутренних и внешних угрозах безопасности, этической согласованности, устойчивости и практических стратегиях смягчения рисков, необходимых для доверенного внедрения в реальном мире.

English

The advent of large language models (LLMs) has catalyzed a transformative shift in artificial intelligence, paving the way for advanced intelligent agents capable of sophisticated reasoning, robust perception, and versatile action across diverse domains. As these agents increasingly drive AI research and practical applications, their design, evaluation, and continuous improvement present intricate, multifaceted challenges. This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research. We structure our exploration into four interconnected parts. First, we delve into the modular foundation of intelligent agents, systematically mapping their cognitive, perceptual, and operational modules onto analogous human brain functionalities, and elucidating core components such as memory, world modeling, reward processing, and emotion-like systems. Second, we discuss self-enhancement and adaptive evolution mechanisms, exploring how agents autonomously refine their capabilities, adapt to dynamic environments, and achieve continual learning through automated optimization paradigms, including emerging AutoML and LLM-driven optimization strategies. Third, we examine collaborative and evolutionary multi-agent systems, investigating the collective intelligence emerging from agent interactions, cooperation, and societal structures, highlighting parallels to human social dynamics. Finally, we address the critical imperative of building safe, secure, and beneficial AI systems, emphasizing intrinsic and extrinsic security threats, ethical alignment, robustness, and practical mitigation strategies necessary for trustworthy real-world deployment.