Agentisches Umgebungsengineering für Große Sprachmodelle: Eine Übersicht über Umgebungsmodellierung, Synthese, Evaluierung und Anwendung

Zusammenfassung

Umgebungen dienen als interaktive Systeme für auf großen Sprachmodellen (LLMs) basierende Agenten in verschiedenen Szenarien und spielen eine entscheidende Rolle bei der kontinuierlichen Weiterentwicklung der Modellfähigkeiten. Trotz dieser Bedeutung fehlt es in der bisherigen Forschung an einer systematischen Kategorisierung und tiefgehenden Analyse. Diese Arbeit untersucht systematisch die aktuelle Forschung zu agentischen Umgebungen aus der Perspektive des Lebenszyklus des Umgebungsengineerings und behandelt deren Modellierung, Synthese, Bewertung und Anwendung. Konkret werden zunächst repräsentative Umgebungen aus den Perspektiven von acht Attributen und acht Domänen vorgestellt, wobei ihre Entwicklungspfade detailliert analysiert und ihre Kernfähigkeiten hervorgehoben werden. Zweitens werden für die automatisierte Umgebungssynthese zwei Paradigmen eingeführt, nämlich die symbolische und die neuronale Synthese. Die Arbeit zeigt zudem verschiedene Methoden zur Umgebungsbewertung innerhalb jedes Paradigmas auf. Drittens werden die entsprechenden Umgebungsanwendungen aus der Perspektive der Agent-Umgebung-Koevolution diskutiert. Insbesondere werden die primären Pfade der Agentenevolution in dynamischen Umgebungen aus vier komplementären Perspektiven charakterisiert: gedächtniszentrierte Erfahrungsevolution, orchestrierungszentrierte Workflow-Evolution, trajektorienzentrierte Offline-Evolution und explorationszentrierte Online-Evolution. Zudem werden drei Paradigmen der Umgebungsevolution identifiziert: neuronal getriebene, schwierigkeitsgetriebene und skalierungsgetriebene Ansätze. Abschließend werden mehrere vielversprechende zukünftige Richtungen diskutiert, darunter Environment-as-a-Service, Multi-Agenten-Umgebungen und neural-symbolische Umgebungen.

English

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.