SPRING: GPT-4 supera a los algoritmos de aprendizaje por refuerzo al estudiar artículos y razonar

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Autores: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Resumen

Los juegos de supervivencia en mundos abiertos presentan desafíos significativos para los algoritmos de IA debido a sus requisitos de multitarea, exploración profunda y priorización de objetivos. Aunque el aprendizaje por refuerzo (RL) es popular para resolver juegos, su alta complejidad muestral limita su efectividad en juegos complejos de mundo abierto como Crafter o Minecraft. Proponemos un enfoque novedoso, SPRING, para leer el artículo académico original del juego y utilizar el conocimiento aprendido para razonar y jugar el juego a través de un modelo de lenguaje grande (LLM). Al proporcionar el código fuente en LaTeX como contexto del juego y una descripción de la observación actual del agente, nuestro marco SPRING emplea un grafo acíclico dirigido (DAG) con preguntas relacionadas con el juego como nodos y dependencias como aristas. Identificamos la acción óptima a tomar en el entorno recorriendo el DAG y calculando las respuestas del LLM para cada nodo en orden topológico, donde la respuesta del LLM al nodo final se traduce directamente en acciones del entorno. En nuestros experimentos, estudiamos la calidad del "razonamiento" en contexto inducido por diferentes formas de indicaciones en el entorno de mundo abierto de Crafter. Nuestros experimentos sugieren que los LLM, cuando se les proporciona una cadena de pensamiento consistente, tienen un gran potencial para completar trayectorias sofisticadas de alto nivel. Cuantitativamente, SPRING con GPT-4 supera a todos los baselines de RL de última generación, entrenados durante 1 millón de pasos, sin ningún entrenamiento. Finalmente, mostramos el potencial de los juegos como banco de pruebas para LLM.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.