SPRING: GPT-4 Supera Algoritmos de RL ao Estudar Artigos e Raciocinar

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Autores: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Resumo

Jogos de sobrevivência em mundo aberto apresentam desafios significativos para algoritmos de IA devido aos seus requisitos de multitarefa, exploração profunda e priorização de objetivos. Apesar do aprendizado por reforço (RL) ser popular para resolver jogos, sua alta complexidade amostral limita sua eficácia em jogos complexos de mundo aberto como Crafter ou Minecraft. Propomos uma nova abordagem, SPRING, para ler o artigo acadêmico original do jogo e usar o conhecimento aprendido para raciocinar e jogar o jogo por meio de um modelo de linguagem de grande escala (LLM). Com o prompt da fonte LaTeX como contexto do jogo e uma descrição da observação atual do agente, nosso framework SPRING emprega um grafo acíclico direcionado (DAG) com questões relacionadas ao jogo como nós e dependências como arestas. Identificamos a ação ótima a ser tomada no ambiente percorrendo o DAG e calculando as respostas do LLM para cada nó em ordem topológica, com a resposta do LLM ao nó final traduzindo-se diretamente em ações no ambiente. Em nossos experimentos, estudamos a qualidade do "raciocínio" em contexto induzido por diferentes formas de prompts no ambiente de mundo aberto do Crafter. Nossos experimentos sugerem que LLMs, quando promptados com uma cadeia de pensamento consistente, têm grande potencial em completar trajetórias sofisticadas de alto nível. Quantitativamente, o SPRING com GPT-4 supera todos os baselines de RL state-of-the-art, treinados por 1 milhão de passos, sem qualquer treinamento. Por fim, mostramos o potencial dos jogos como um campo de testes para LLMs.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.