Vooruitgang en Uitdagingen in Fundamenten van Agents: Van Hersen-Geïnspireerde Intelligentie naar Evolutionaire, Collaboratieve en Veilige Systemen

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

March 31, 2025

Auteurs: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

cs.AI

Samenvatting

De opkomst van grote taalmodellen (LLM's) heeft een transformerende verschuiving in kunstmatige intelligentie teweeggebracht, waardoor de weg is geefbaand voor geavanceerde intelligente agenten die in staat zijn tot geavanceerd redeneren, robuuste perceptie en veelzijdige actie in diverse domeinen. Naarmate deze agenten steeds meer AI-onderzoek en praktische toepassingen sturen, vormen hun ontwerp, evaluatie en continue verbetering complexe, veelzijdige uitdagingen. Dit overzicht biedt een uitgebreide blik, waarbij intelligente agenten worden ingekaderd binnen een modulaire, door de hersenen geïnspireerde architectuur die principes integreert uit de cognitieve wetenschap, neurowetenschappen en computationeel onderzoek. We structureren onze verkenning in vier onderling verbonden delen. Ten eerste duiken we in de modulaire basis van intelligente agenten, waarbij we hun cognitieve, perceptuele en operationele modules systematisch in kaart brengen op analoge menselijke hersenfuncties, en kerncomponenten zoals geheugen, wereldmodellering, beloningsverwerking en emotie-achtige systemen verhelderen. Ten tweede bespreken we zelfverbeterings- en adaptieve evolutiemechanismen, waarbij we onderzoeken hoe agenten hun capaciteiten autonoom verfijnen, zich aanpassen aan dynamische omgevingen en continu leren door geautomatiseerde optimalisatieparadigma's, waaronder opkomende AutoML- en LLM-gestuurde optimalisatiestrategieën. Ten derde onderzoeken we collaboratieve en evolutionaire multi-agent systemen, waarbij we de collectieve intelligentie die voortkomt uit interacties, samenwerking en sociale structuren van agenten onderzoeken, met parallellen naar menselijke sociale dynamiek. Tot slot gaan we in op de kritieke noodzaak van het bouwen van veilige, beveiligde en voordelige AI-systemen, waarbij we intrinsieke en extrinsieke beveiligingsbedreigingen, ethische afstemming, robuustheid en praktische mitigatiestrategieën benadrukken die nodig zijn voor betrouwbare inzet in de echte wereld.

English

The advent of large language models (LLMs) has catalyzed a transformative shift in artificial intelligence, paving the way for advanced intelligent agents capable of sophisticated reasoning, robust perception, and versatile action across diverse domains. As these agents increasingly drive AI research and practical applications, their design, evaluation, and continuous improvement present intricate, multifaceted challenges. This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research. We structure our exploration into four interconnected parts. First, we delve into the modular foundation of intelligent agents, systematically mapping their cognitive, perceptual, and operational modules onto analogous human brain functionalities, and elucidating core components such as memory, world modeling, reward processing, and emotion-like systems. Second, we discuss self-enhancement and adaptive evolution mechanisms, exploring how agents autonomously refine their capabilities, adapt to dynamic environments, and achieve continual learning through automated optimization paradigms, including emerging AutoML and LLM-driven optimization strategies. Third, we examine collaborative and evolutionary multi-agent systems, investigating the collective intelligence emerging from agent interactions, cooperation, and societal structures, highlighting parallels to human social dynamics. Finally, we address the critical imperative of building safe, secure, and beneficial AI systems, emphasizing intrinsic and extrinsic security threats, ethical alignment, robustness, and practical mitigation strategies necessary for trustworthy real-world deployment.