SPRING: GPT-4 supera gli algoritmi di apprendimento per rinforzo studiando articoli e ragionando

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Autori: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Abstract

I giochi di sopravvivenza in mondi aperti presentano sfide significative per gli algoritmi di intelligenza artificiale a causa delle loro esigenze di multi-tasking, esplorazione approfondita e priorità degli obiettivi. Nonostante l'apprendimento per rinforzo (RL) sia popolare per risolvere giochi, la sua elevata complessità campionaria ne limita l'efficacia in giochi complessi in mondi aperti come Crafter o Minecraft. Proponiamo un approccio innovativo, SPRING, per leggere il documento accademico originale del gioco e utilizzare le conoscenze apprese per ragionare e giocare attraverso un modello linguistico di grandi dimensioni (LLM). Sollecitato con il sorgente LaTeX come contesto del gioco e una descrizione dell'osservazione corrente dell'agente, il nostro framework SPRING impiega un grafo aciclico diretto (DAG) con domande relative al gioco come nodi e dipendenze come archi. Identifichiamo l'azione ottimale da intraprendere nell'ambiente attraversando il DAG e calcolando le risposte dell'LLM per ciascun nodo in ordine topologico, con la risposta dell'LLM al nodo finale che si traduce direttamente in azioni ambientali. Nei nostri esperimenti, studiamo la qualità del "ragionamento" in contesto indotto da diverse forme di prompt nell'ambiente di gioco aperto di Crafter. I nostri esperimenti suggeriscono che gli LLM, quando sollecitati con una catena di pensiero coerente, hanno un grande potenziale nel completare traiettorie sofisticate di alto livello. Quantitativamente, SPRING con GPT-4 supera tutti i benchmark RL all'avanguardia, addestrati per 1 milione di passi, senza alcun addestramento. Infine, mostriamo il potenziale dei giochi come banco di prova per gli LLM.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.