SPRING: GPT-4は論文を研究し推論することで強化学習アルゴリズムを上回る

要旨

オープンワールドサバイバルゲームは、マルチタスク、深い探索、目標の優先順位付けといった要件から、AIアルゴリズムにとって大きな課題を提起します。強化学習（RL）はゲームを解くために広く使われていますが、その高いサンプル複雑さが、CrafterやMinecraftのような複雑なオープンワールドゲームでの有効性を制限しています。本研究では、SPRINGという新しいアプローチを提案します。これは、ゲームのオリジナルの学術論文を読み、そこで得た知識を大規模言語モデル（LLM）を通じて推論し、ゲームをプレイするものです。LaTeXソースをゲームのコンテキストとして、エージェントの現在の観察を説明としてプロンプトに与えることで、SPRINGフレームワークは、ゲーム関連の質問をノードとし、依存関係をエッジとする有向非巡回グラフ（DAG）を構築します。DAGをトラバースし、各ノードに対してトポロジカル順序でLLMの応答を計算することで、環境で取るべき最適なアクションを特定します。最終ノードに対するLLMの回答は、直接環境アクションに変換されます。実験では、Crafterオープンワールド環境の設定下で、異なる形式のプロンプトによって誘発される「推論」の質を調査しました。実験結果は、一貫した思考の連鎖（chain-of-thought）をプロンプトとして与えられた場合、LLMが洗練された高レベルの軌道を完成させる大きな可能性を持っていることを示唆しています。定量的には、GPT-4を用いたSPRINGは、100万ステップ訓練されたすべての最先端のRLベースラインを、一切の訓練なしに上回りました。最後に、ゲームがLLMのテストベッドとしての可能性を示しました。

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.

SPRING: GPT-4は論文を研究し推論することで強化学習アルゴリズムを上回る

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

要旨

Support