Ingénierie d'environnements agentiques pour les grands modèles de langage : un état de l'art sur la modélisation, la synthèse, l'évaluation et l'application d'environnements

Résumé

Les environnements servent de systèmes interactifs pour les agents basés sur de grands modèles de langage (LLM) dans divers scénarios et jouent un rôle crucial dans la conduite de l'évolution continue des capacités des modèles. Malgré cette importance, les travaux existants manquent d'une catégorisation systématique et d'une analyse approfondie. Cet article étudie systématiquement les recherches actuelles sur les environnements agentiques du point de vue du cycle de vie de l'ingénierie des environnements, couvrant leur modélisation, synthèse, évaluation et application. Plus précisément, l'article introduit d'abord des environnements représentatifs sous les angles de huit attributs et huit domaines, fournissant des analyses détaillées de leurs chemins de développement et mettant en évidence leurs capacités principales. Deuxièmement, pour la synthèse automatisée d'environnements, deux paradigmes sont introduits, tels que la synthèse symbolique et la synthèse neurale. Cet article présente également différentes méthodes d'évaluation des environnements dans chaque paradigme. Troisièmement, les applications correspondantes des environnements du point de vue de la co-évolution agent-environnement sont discutées. Plus précisément, l'article caractérise les voies principales de l'évolution des agents dans des environnements dynamiques à partir de quatre perspectives complémentaires : l'évolution d'expérience centrée sur la mémoire, l'évolution de flux de travail centrée sur l'orchestration, l'évolution hors ligne centrée sur les trajectoires, et l'évolution en ligne centrée sur l'exploration. Et trois paradigmes d'évolution des environnements sont identifiés, à savoir les approches pilotées par le neural, pilotées par la difficulté et pilotées par le passage à l'échelle. Enfin, plusieurs directions prometteuses pour l'avenir sont discutées, notamment l'Environnement en tant que Service, les Environnements Multi-agents et les Environnements Neuro-Symboliques.

English

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.