Инженерия агентной среды для больших языковых моделей: обзор моделирования среды, синтеза, оценки и применения

Аннотация

Среды выступают интерактивными системами для агентов на основе больших языковых моделей (LLM) в различных сценариях и играют ключевую роль в постоянном развитии возможностей моделей. Несмотря на эту важность, существующие работы лишены систематической категоризации и глубокого анализа. В данной статье систематически исследуются текущие исследования агентных сред с точки зрения жизненного цикла проектирования среды, охватывая их моделирование, синтез, оценку и применение. В частности, сначала представлены репрезентативные среды с позиций восьми атрибутов и восьми доменов, с подробным анализом траекторий их развития и выделением ключевых возможностей. Во-вторых, для автоматизированного синтеза сред описаны две парадигмы: символьный синтез и нейронный синтез. Также показаны различные методы оценки сред в каждой парадигме. В-третьих, рассмотрены соответствующие приложения сред с точки зрения совместной эволюции агента и среды. В частности, охарактеризованы основные пути эволюции агентов в динамических средах с четырех взаимодополняющих перспектив: эволюция опыта с акцентом на память, эволюция рабочих процессов с акцентом на оркестрацию, офлайн-эволюция на основе траекторий и онлайн-эволюция с акцентом на исследование. Выделены три парадигмы эволюции среды: нейронно-управляемая, управляемая сложностью и масштабируемая. Наконец, обсуждаются несколько перспективных будущих направлений, включая «Среду как услугу», многоагентные среды и нейронно-символьные среды.

English

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.