Agentische Omgevingsengineering voor Grote Taalmodellen: Een Overzicht van Omgevingsmodellering, Synthese, Evaluatie en Toepassing

Samenvatting

Omgevingen fungeren als interactieve systemen voor op grote taalmodellen (LLM) gebaseerde agenten in diverse scenario's en spelen een cruciale rol in het aandrijven van de voortdurende evolutie van modelcapaciteiten. Ondanks dit belang ontbreekt het in bestaand werk aan een systematische categorisering en diepgaande analyse. Dit artikel bestudeert systematisch het huidige onderzoek naar agentomgevingen vanuit het perspectief van de levenscyclus van omgevingsengineering, waarbij de nadruk ligt op hun modellering, synthese, evaluatie en toepassing. Specifiek introduceert het artikel eerst representatieve omgevingen vanuit het perspectief van acht kenmerken en acht domeinen, met gedetailleerde analyses van hun ontwikkelingspaden en een belichting van hun kerncapaciteiten. Ten tweede worden er voor geautomatiseerde omgevingssynthese twee paradigma's geïntroduceerd, zoals symbolische synthese en neurale synthese. Dit artikel toont ook verschillende evaluatiemethoden voor omgevingen binnen elk paradigma. Ten derde worden de bijbehorende omgevingstoepassingen besproken vanuit het perspectief van co-evolutie van agent en omgeving. Specifiek kenmerkt het artikel de primaire paden voor agente-evolutie in dynamische omgevingen vanuit vier complementaire perspectieven: geheugengerichte ervaringsevolutie, orkestratiegerichte workflow-evolutie, trajectgerichte offline evolutie en exploratiegerichte online evolutie. Daarnaast worden drie paradigma's van omgevingsevolutie geïdentificeerd, namelijk neuraal gestuurde, moeilijkheidsgestuurde en schalingsgestuurde benaderingen. Tot slot worden enkele veelbelovende toekomstige richtingen besproken, waaronder Omgeving-als-een-Dienst, Multi-agentomgevingen en Neuraal-Symbolische Omgevingen.

English

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.