SPRING: GPT-4 превосходит алгоритмы обучения с подкреплением, изучая статьи и рассуждая

SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning

May 24, 2023

Авторы: Yue Wu, So Yeon Min, Shrimai Prabhumoye, Yonatan Bisk, Ruslan Salakhutdinov, Amos Azaria, Tom Mitchell, Yuanzhi Li

cs.AI

Аннотация

Игры на выживание в открытом мире представляют значительные сложности для алгоритмов ИИ из-за необходимости многозадачности, глубокого исследования и приоритизации целей. Несмотря на популярность обучения с подкреплением (RL) для решения игровых задач, его высокая вычислительная сложность ограничивает эффективность в сложных играх с открытым миром, таких как Crafter или Minecraft. Мы предлагаем новый подход, SPRING, который заключается в чтении оригинальной научной статьи игры и использовании полученных знаний для рассуждений и игры через большую языковую модель (LLM). Используя исходный код LaTeX в качестве контекста игры и описание текущих наблюдений агента, наша система SPRING применяет направленный ациклический граф (DAG), где узлы представляют вопросы, связанные с игрой, а рёбра — зависимости между ними. Мы определяем оптимальное действие для выполнения в среде, обходя DAG и вычисляя ответы LLM для каждого узла в топологическом порядке, причём ответ LLM на последний узел напрямую преобразуется в действия в среде. В наших экспериментах мы изучаем качество контекстного "рассуждения", вызванного различными формами подсказок, в условиях открытого мира Crafter. Результаты экспериментов показывают, что LLM, при использовании последовательной цепочки рассуждений, обладают большим потенциалом для выполнения сложных высокоуровневых траекторий. Количественно, SPRING с GPT-4 превосходит все современные RL-базовые модели, обученные на 1 миллионе шагов, без какого-либо обучения. Наконец, мы демонстрируем потенциал игр как тестовой среды для LLM.

English

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.