Progrès et défis des agents fondamentaux : de l'intelligence inspirée du cerveau aux systèmes évolutifs, collaboratifs et sécurisés

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

March 31, 2025

Auteurs: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

cs.AI

Résumé

L'avènement des grands modèles de langage (LLMs) a catalysé un changement transformateur dans l'intelligence artificielle, ouvrant la voie à des agents intelligents avancés capables de raisonnement sophistiqué, de perception robuste et d'action polyvalente dans divers domaines. Alors que ces agents jouent un rôle croissant dans la recherche en IA et ses applications pratiques, leur conception, évaluation et amélioration continue présentent des défis complexes et multidimensionnels. Cette étude offre un aperçu complet, en encadrant les agents intelligents dans une architecture modulaire inspirée du cerveau, intégrant des principes issus des sciences cognitives, des neurosciences et de la recherche computationnelle. Nous structurons notre exploration en quatre parties interconnectées. Premièrement, nous plongeons dans le fondement modulaire des agents intelligents, en cartographiant systématiquement leurs modules cognitifs, perceptuels et opérationnels sur des fonctionnalités cérébrales humaines analogues, et en élucidant des composants clés tels que la mémoire, la modélisation du monde, le traitement des récompenses et les systèmes ressemblant aux émotions. Deuxièmement, nous discutons des mécanismes d'auto-amélioration et d'évolution adaptative, en explorant comment les agents affinent leurs capacités de manière autonome, s'adaptent à des environnements dynamiques et atteignent un apprentissage continu grâce à des paradigmes d'optimisation automatisée, y compris les stratégies émergentes d'AutoML et d'optimisation pilotée par les LLMs. Troisièmement, nous examinons les systèmes multi-agents collaboratifs et évolutifs, en étudiant l'intelligence collective émergeant des interactions, de la coopération et des structures sociétales des agents, en mettant en lumière les parallèles avec les dynamiques sociales humaines. Enfin, nous abordons l'impératif critique de construire des systèmes d'IA sûrs, sécurisés et bénéfiques, en mettant l'accent sur les menaces de sécurité intrinsèques et extrinsèques, l'alignement éthique, la robustesse et les stratégies d'atténuation pratiques nécessaires pour un déploiement fiable dans le monde réel.

English

The advent of large language models (LLMs) has catalyzed a transformative shift in artificial intelligence, paving the way for advanced intelligent agents capable of sophisticated reasoning, robust perception, and versatile action across diverse domains. As these agents increasingly drive AI research and practical applications, their design, evaluation, and continuous improvement present intricate, multifaceted challenges. This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research. We structure our exploration into four interconnected parts. First, we delve into the modular foundation of intelligent agents, systematically mapping their cognitive, perceptual, and operational modules onto analogous human brain functionalities, and elucidating core components such as memory, world modeling, reward processing, and emotion-like systems. Second, we discuss self-enhancement and adaptive evolution mechanisms, exploring how agents autonomously refine their capabilities, adapt to dynamic environments, and achieve continual learning through automated optimization paradigms, including emerging AutoML and LLM-driven optimization strategies. Third, we examine collaborative and evolutionary multi-agent systems, investigating the collective intelligence emerging from agent interactions, cooperation, and societal structures, highlighting parallels to human social dynamics. Finally, we address the critical imperative of building safe, secure, and beneficial AI systems, emphasizing intrinsic and extrinsic security threats, ethical alignment, robustness, and practical mitigation strategies necessary for trustworthy real-world deployment.