SPRING: GPT-4 Overtrendt RL-algoritmen door Papers te Bestuderen en te Redeneren

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Auteurs: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Samenvatting

Open-world survival games stellen aanzienlijke uitdagingen voor AI-algoritmen vanwege hun vereisten op het gebied van multitasking, diepgaande verkenning en doelprioritering. Hoewel reinforcement learning (RL) populair is voor het oplossen van games, beperkt de hoge samplecomplexiteit de effectiviteit ervan in complexe open-world games zoals Crafter of Minecraft. Wij stellen een nieuwe aanpak voor, SPRING, om het originele academische artikel van de game te lezen en de opgedane kennis te gebruiken om te redeneren en de game te spelen via een groot taalmodel (LLM). Geprompt met de LaTeX-bron als gamecontext en een beschrijving van de huidige observatie van de agent, gebruikt ons SPRING-framework een gerichte acyclische grafiek (DAG) met gamegerelateerde vragen als knopen en afhankelijkheden als verbindingen. We identificeren de optimale actie die in de omgeving moet worden ondernomen door de DAG te doorlopen en LLM-reacties voor elke knoop in topologische volgorde te berekenen, waarbij het antwoord van het LLM op de laatste knoop direct vertaalt naar omgevingsacties. In onze experimenten bestuderen we de kwaliteit van in-context "redenering" die wordt opgewekt door verschillende vormen van prompts in de setting van de Crafter open-world omgeving. Onze experimenten suggereren dat LLM's, wanneer ze worden geprompt met een consistente gedachtegang, groot potentieel hebben in het voltooien van geavanceerde hoogwaardige trajecten. Kwantitatief presteert SPRING met GPT-4 beter dan alle state-of-the-art RL-baselines, getraind voor 1M stappen, zonder enige training. Tot slot tonen we het potentieel van games als testomgeving voor LLM's.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.