대규모 언어 모델을 위한 에이전트 환경 공학: 환경 모델링, 합성, 평가 및 응용에 대한 조사

초록

환경은 다양한 시나리오에서 대규모 언어 모델(LLM) 기반 에이전트의 상호작용 시스템으로 기능하며, 모델 성능의 지속적인 발전을 추동하는 핵심 역할을 한다. 이러한 중요성에도 불구하고, 기존 연구는 체계적인 분류와 심층 분석이 부족하다. 본 논문은 환경 엔지니어링 생애주기 관점에서 에이전트 환경에 관한 최신 연구를 체계적으로 분석하며, 모델링, 합성, 평가, 적용을 포함한다. 구체적으로, 먼저 8가지 속성과 8개 도메인의 관점에서 대표적 환경을 소개하고, 이들의 발전 경로를 상세히 분석하며 핵심 역량을 조명한다. 둘째, 자동 환경 합성을 위해 기호 합성과 신경 합성이라는 두 가지 패러다임을 소개하고, 각 패러다임에서의 다양한 환경 평가 방법을 제시한다. 셋째, 에이전트-환경 공진화 관점에서 이에 상응하는 환경 적용 사례를 논의한다. 특히, 동적 환경에서 에이전트 진화의 주요 경로를 네 가지 상호 보완적 관점, 즉 메모리 중심 경험 진화, 오케스트레이션 중심 워크플로우 진화, 궤적 중심 오프라인 진화, 탐험 중심 온라인 진화로 특성화한다. 또한 환경 진화의 세 가지 패러다임, 즉 신경 기반, 난이도 기반, 스케일링 기반 접근법을 식별한다. 마지막으로, 서비스형 환경(Environment-as-a-Service), 다중 에이전트 환경, 신경-기호 환경(Neural-Symbolic Environments) 등 유망한 미래 연구 방향을 논의한다.

English

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.