SPRING: GPT-4 übertrifft RL-Algorithmen durch das Studium von Forschungsarbeiten und logisches Schlussfolgern

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Autoren: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Zusammenfassung

Open-World-Survival-Spiele stellen aufgrund ihrer Anforderungen an Multitasking, tiefgehende Exploration und Zielpriorisierung erhebliche Herausforderungen für KI-Algorithmen dar. Obwohl Reinforcement Learning (RL) beliebt ist, um Spiele zu lösen, begrenzt seine hohe Probenkomplexität seine Effektivität in komplexen Open-World-Spielen wie Crafter oder Minecraft. Wir schlagen einen neuartigen Ansatz, SPRING, vor, der das ursprüngliche wissenschaftliche Papier des Spiels liest und das gelernte Wissen nutzt, um das Spiel durch ein großes Sprachmodell (LLM) zu verstehen und zu spielen. Mit dem LaTeX-Quelltext als Spielkontext und einer Beschreibung der aktuellen Beobachtung des Agenten angeregt, verwendet unser SPRING-Framework einen gerichteten azyklischen Graphen (DAG) mit spielbezogenen Fragen als Knoten und Abhängigkeiten als Kanten. Wir identifizieren die optimale Aktion in der Umgebung, indem wir den DAG durchlaufen und die LLM-Antworten für jeden Knoten in topologischer Reihenfolge berechnen, wobei die Antwort des LLMs auf den letzten Knoten direkt in Umgebungsaktionen übersetzt wird. In unseren Experimenten untersuchen wir die Qualität des in Kontext induzierten „Schlussfolgerns“ unter verschiedenen Formen von Prompts in der Umgebung des Open-World-Spiels Crafter. Unsere Experimente legen nahe, dass LLMs, wenn sie mit einer konsistenten Gedankenkette angeregt werden, ein großes Potenzial haben, anspruchsvolle High-Level-Trajektorien zu vervollständigen. Quantitativ übertrifft SPRING mit GPT-4 alle state-of-the-art RL-Baselines, die für 1M Schritte trainiert wurden, ohne jegliches Training. Schließlich zeigen wir das Potenzial von Spielen als Testumgebung für LLMs.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.