SPRING : GPT-4 surpasse les algorithmes d'apprentissage par renforcement en étudiant les articles et en raisonnant

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Auteurs: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Résumé

Les jeux de survie en monde ouvert posent des défis significatifs pour les algorithmes d'IA en raison de leurs exigences en matière de multitâche, d'exploration approfondie et de hiérarchisation des objectifs. Bien que l'apprentissage par renforcement (RL) soit populaire pour résoudre des jeux, sa complexité d'échantillonnage élevée limite son efficacité dans des jeux en monde ouvert complexes comme Crafter ou Minecraft. Nous proposons une nouvelle approche, SPRING, qui consiste à lire le document académique original du jeu et à utiliser les connaissances acquises pour raisonner et jouer au jeu via un grand modèle de langage (LLM). En utilisant le code source LaTeX comme contexte du jeu et une description de l'observation actuelle de l'agent, notre cadre SPRING emploie un graphe acyclique dirigé (DAG) avec des questions liées au jeu comme nœuds et des dépendances comme arêtes. Nous identifions l'action optimale à entreprendre dans l'environnement en parcourant le DAG et en calculant les réponses du LLM pour chaque nœud dans l'ordre topologique, la réponse du LLM au nœud final se traduisant directement en actions dans l'environnement. Dans nos expériences, nous étudions la qualité du "raisonnement" en contexte induit par différentes formes d'invites dans le cadre de l'environnement en monde ouvert de Crafter. Nos expériences suggèrent que les LLM, lorsqu'ils sont sollicités avec une chaîne de pensée cohérente, ont un grand potentiel pour accomplir des trajectoires sophistiquées de haut niveau. Quantitativement, SPRING avec GPT-4 surpasse toutes les méthodes de RL de pointe, entraînées pendant 1 million d'étapes, sans aucun entraînement. Enfin, nous montrons le potentiel des jeux comme banc d'essai pour les LLM.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.