WALL-E 2.0: ニューロシンボリック学習による世界アライメントが世界モデルベースのLLMエージェントを改善

WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents

April 22, 2025

著者: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

要旨

大規模言語モデル（LLM）から正確な世界モデルを構築できるだろうか？世界モデルはLLMエージェントにどのように役立つのか？LLMの事前知識と特定の環境のダイナミクスとの間のギャップは、通常、世界モデルとしてのLLMの性能をボトルネックにしている。このギャップを埋めるために、我々はLLMを補完する環境のシンボリック知識を学習するトレーニング不要の「世界アライメント」を提案する。このシンボリック知識は、探索軌跡からLLMによって抽出され、実行可能なコードにエンコードされた行動ルール、知識グラフ、シーングラフをカバーし、LLMエージェントのポリシーを規制する。さらに、モデル予測制御（MPC）フレームワークを通じて、RL（強化学習）不要のモデルベースエージェント「WALL-E 2.0」を提案する。従来のMPCがオンザフライでの高コストな最適化を必要とするのとは異なり、我々はLLMエージェントをニューロシンボリック世界モデルと相互作用することで、将来のステップの行動の効率的な先読み最適化器として採用する。LLMエージェントの強力なヒューリスティックは、MPCにおいて効率的なプランナーとして機能する一方で、計画された行動の質は、アライメントされた世界モデルの正確な予測によっても保証される。これらは共に、新しい環境での学習効率を大幅に向上させる。Mars（Minecraftのような）やALFWorld（具現化された屋内環境）でのオープンワールドチャレンジにおいて、WALL-E 2.0は既存の方法を大幅に上回り、例えばMarsではベースラインを16.1%-51.6%の成功率で、スコアでは少なくとも61.7%で上回った。ALFWorldでは、わずか4回のイテレーションで新記録の98%の成功率を達成した。

English

Can we build accurate world models out of large language models (LLMs)? How can world models benefit LLM agents? The gap between the prior knowledge of LLMs and the specified environment's dynamics usually bottlenecks LLMs' performance as world models. To bridge the gap, we propose a training-free "world alignment" that learns an environment's symbolic knowledge complementary to LLMs. The symbolic knowledge covers action rules, knowledge graphs, and scene graphs, which are extracted by LLMs from exploration trajectories and encoded into executable codes to regulate LLM agents' policies. We further propose an RL-free, model-based agent "WALL-E 2.0" through the model-predictive control (MPC) framework. Unlike classical MPC requiring costly optimization on the fly, we adopt an LLM agent as an efficient look-ahead optimizer of future steps' actions by interacting with the neurosymbolic world model. While the LLM agent's strong heuristics make it an efficient planner in MPC, the quality of its planned actions is also secured by the accurate predictions of the aligned world model. They together considerably improve learning efficiency in a new environment. On open-world challenges in Mars (Minecraft like) and ALFWorld (embodied indoor environments), WALL-E 2.0 significantly outperforms existing methods, e.g., surpassing baselines in Mars by 16.1%-51.6% of success rate and by at least 61.7% in score. In ALFWorld, it achieves a new record 98% success rate after only 4 iterations.