WALL-E 2.0: 신경-기호 학습을 통한 세계 정렬이 세계 모델 기반 LLM 에이전트를 개선한다

WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents

April 22, 2025

저자: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

초록

대규모 언어 모델(LLMs)을 통해 정확한 세계 모델을 구축할 수 있을까? 세계 모델이 LLM 에이전트에 어떤 이점을 제공할 수 있을까? LLMs의 사전 지식과 특정 환경의 역학 사이의 간극은 종종 LLMs의 세계 모델로서의 성능을 저해하는 병목 현상으로 작용한다. 이 간극을 메우기 위해, 우리는 LLMs를 보완하는 환경의 상징적 지식을 학습하는 훈련이 필요 없는 "세계 정렬(world alignment)"을 제안한다. 이 상징적 지식은 행동 규칙, 지식 그래프, 장면 그래프를 포함하며, 탐색 궤적에서 LLMs에 의해 추출되고 실행 가능한 코드로 인코딩되어 LLM 에이전트의 정책을 규제한다. 우리는 더 나아가 모델 예측 제어(MPC) 프레임워크를 통해 RL(강화 학습)이 필요 없는 모델 기반 에이전트 "WALL-E 2.0"을 제안한다. 실시간으로 비용이 많이 드는 최적화를 요구하는 기존의 MPC와 달리, 우리는 신경 상징적 세계 모델과 상호작용하며 미래 단계의 행동을 효율적으로 예측하는 LLM 에이전트를 채택한다. LLM 에이전트의 강력한 휴리스틱은 MPC 내에서 효율적인 플래너로 작용하게 하지만, 정렬된 세계 모델의 정확한 예측에 의해 계획된 행동의 품질도 보장된다. 이 둘은 함께 새로운 환경에서의 학습 효율성을 크게 향상시킨다. Mars(Minecraft와 유사)와 ALFWorld(구현된 실내 환경)의 오픈월드 과제에서 WALL-E 2.0은 기존 방법들을 크게 능가하며, 예를 들어 Mars에서 기준선 대비 16.1%-51.6%의 성공률과 최소 61.7%의 점수 향상을 달성했다. ALFWorld에서는 단 4번의 반복만으로 새로운 기록인 98%의 성공률을 달성했다.

English

Can we build accurate world models out of large language models (LLMs)? How can world models benefit LLM agents? The gap between the prior knowledge of LLMs and the specified environment's dynamics usually bottlenecks LLMs' performance as world models. To bridge the gap, we propose a training-free "world alignment" that learns an environment's symbolic knowledge complementary to LLMs. The symbolic knowledge covers action rules, knowledge graphs, and scene graphs, which are extracted by LLMs from exploration trajectories and encoded into executable codes to regulate LLM agents' policies. We further propose an RL-free, model-based agent "WALL-E 2.0" through the model-predictive control (MPC) framework. Unlike classical MPC requiring costly optimization on the fly, we adopt an LLM agent as an efficient look-ahead optimizer of future steps' actions by interacting with the neurosymbolic world model. While the LLM agent's strong heuristics make it an efficient planner in MPC, the quality of its planned actions is also secured by the accurate predictions of the aligned world model. They together considerably improve learning efficiency in a new environment. On open-world challenges in Mars (Minecraft like) and ALFWorld (embodied indoor environments), WALL-E 2.0 significantly outperforms existing methods, e.g., surpassing baselines in Mars by 16.1%-51.6% of success rate and by at least 61.7% in score. In ALFWorld, it achieves a new record 98% success rate after only 4 iterations.