Fortschritte und Herausforderungen bei Foundation Agents: Von hirninspirierter Intelligenz zu evolutionären, kollaborativen und sicheren Systemen

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

March 31, 2025

Autoren: Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

cs.AI

Zusammenfassung

Die Entstehung großer Sprachmodelle (LLMs) hat einen transformativen Wandel in der künstlichen Intelligenz katalysiert und den Weg für fortgeschrittene intelligente Agenten geebnet, die zu anspruchsvollem Denken, robustem Wahrnehmungsvermögen und vielseitigem Handeln in verschiedenen Domänen fähig sind. Da diese Agenten zunehmend die KI-Forschung und praktische Anwendungen vorantreiben, stellen ihre Gestaltung, Bewertung und kontinuierliche Verbesserung komplexe, vielschichtige Herausforderungen dar. Diese Übersichtsarbeit bietet einen umfassenden Überblick und verortet intelligente Agenten in einer modularen, hirninspirierten Architektur, die Prinzipien aus der Kognitionswissenschaft, Neurowissenschaft und Computerforschung integriert. Wir strukturieren unsere Untersuchung in vier miteinander verbundene Teile. Zunächst tauchen wir in die modulare Grundlage intelligenter Agenten ein, indem wir ihre kognitiven, wahrnehmungsbezogenen und operativen Module systematisch auf analoge menschliche Gehirnfunktionen abbilden und Kernkomponenten wie Gedächtnis, Weltmodellierung, Belohnungsverarbeitung und emotionsähnliche Systeme erläutern. Zweitens diskutieren wir Selbstverbesserungs- und adaptive Evolutionsmechanismen, indem wir untersuchen, wie Agenten ihre Fähigkeiten autonom verfeinern, sich an dynamische Umgebungen anpassen und kontinuierliches Lernen durch automatisierte Optimierungsparadigmen erreichen, einschließlich aufkommender AutoML- und LLM-gestützter Optimierungsstrategien. Drittens betrachten wir kollaborative und evolutionäre Multi-Agenten-Systeme, indem wir die kollektive Intelligenz erforschen, die aus den Interaktionen, der Zusammenarbeit und den gesellschaftlichen Strukturen von Agenten hervorgeht, und Parallelen zu menschlichen Sozialdynamiken aufzeigen. Schließlich gehen wir auf die kritische Notwendigkeit ein, sichere, geschützte und nützliche KI-Systeme zu entwickeln, wobei wir intrinsische und extrinsische Sicherheitsbedrohungen, ethische Ausrichtung, Robustheit und praktische Strategien zur Risikominderung betonen, die für den vertrauenswürdigen Einsatz in der realen Welt erforderlich sind.

English

The advent of large language models (LLMs) has catalyzed a transformative shift in artificial intelligence, paving the way for advanced intelligent agents capable of sophisticated reasoning, robust perception, and versatile action across diverse domains. As these agents increasingly drive AI research and practical applications, their design, evaluation, and continuous improvement present intricate, multifaceted challenges. This survey provides a comprehensive overview, framing intelligent agents within a modular, brain-inspired architecture that integrates principles from cognitive science, neuroscience, and computational research. We structure our exploration into four interconnected parts. First, we delve into the modular foundation of intelligent agents, systematically mapping their cognitive, perceptual, and operational modules onto analogous human brain functionalities, and elucidating core components such as memory, world modeling, reward processing, and emotion-like systems. Second, we discuss self-enhancement and adaptive evolution mechanisms, exploring how agents autonomously refine their capabilities, adapt to dynamic environments, and achieve continual learning through automated optimization paradigms, including emerging AutoML and LLM-driven optimization strategies. Third, we examine collaborative and evolutionary multi-agent systems, investigating the collective intelligence emerging from agent interactions, cooperation, and societal structures, highlighting parallels to human social dynamics. Finally, we address the critical imperative of building safe, secure, and beneficial AI systems, emphasizing intrinsic and extrinsic security threats, ethical alignment, robustness, and practical mitigation strategies necessary for trustworthy real-world deployment.