Baum der Gedanken: Gezielte Problemlösung mit großen Sprachmodellen

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

May 17, 2023

Autoren: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan

cs.AI

Zusammenfassung

Sprachmodelle werden zunehmend für allgemeine Problemlösungen über eine breite Palette von Aufgaben eingesetzt, sind jedoch während der Inferenz immer noch auf tokenbasierte, von links nach rechts verlaufende Entscheidungsprozesse beschränkt. Dies bedeutet, dass sie bei Aufgaben, die Exploration, strategisches Vorausdenken oder eine entscheidende Rolle der anfänglichen Entscheidungen erfordern, an ihre Grenzen stoßen können. Um diese Herausforderungen zu bewältigen, führen wir ein neues Framework für die Inferenz von Sprachmodellen ein, den sogenannten Tree of Thoughts (ToT). Dieser verallgemeinert den populären Chain-of-Thought-Ansatz zur Prompting von Sprachmodellen und ermöglicht die Exploration über kohärente Texteinheiten (Gedanken), die als Zwischenschritte zur Problemlösung dienen. ToT ermöglicht es Sprachmodellen, bewusste Entscheidungen zu treffen, indem sie mehrere verschiedene Argumentationspfade in Betracht ziehen und ihre Wahlmöglichkeiten selbst bewerten, um den nächsten Schritt zu bestimmen. Zudem können sie bei Bedarf vorausschauen oder zurückgehen, um globale Entscheidungen zu treffen. Unsere Experimente zeigen, dass ToT die Problemlösungsfähigkeiten von Sprachmodellen bei drei neuartigen Aufgaben, die nicht-triviale Planung oder Suche erfordern, erheblich verbessert: Game of 24, Kreatives Schreiben und Mini-Kreuzworträtsel. Beispielsweise löste GPT-4 mit Chain-of-Thought-Prompting beim Game of 24 nur 4 % der Aufgaben, während unsere Methode eine Erfolgsquote von 74 % erreichte. Code-Repository mit allen Prompts: https://github.com/ysymyth/tree-of-thought-llm.

English

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.