Arbre de Pensées : Résolution de Problèmes Réfléchie avec les Modèles de Langage à Grande Échelle

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

May 17, 2023

Auteurs: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan

cs.AI

Résumé

Les modèles de langage sont de plus en plus déployés pour résoudre des problèmes généraux sur une large gamme de tâches, mais restent limités à des processus de décision séquentiels, de gauche à droite, au niveau des tokens lors de l'inférence. Cela signifie qu'ils peuvent échouer dans des tâches nécessitant de l'exploration, une anticipation stratégique, ou où les décisions initiales jouent un rôle crucial. Pour surmonter ces défis, nous introduisons un nouveau cadre pour l'inférence des modèles de langage, l'Arbre de Pensées (Tree of Thoughts, ToT), qui généralise l'approche populaire de la Chaîne de Pensées (Chain of Thought) pour inciter les modèles de langage, et permet l'exploration d'unités cohérentes de texte (pensées) servant d'étapes intermédiaires vers la résolution de problèmes. ToT permet aux modèles de langage de prendre des décisions réfléchies en considérant plusieurs chemins de raisonnement et en auto-évaluant les choix pour décider de la prochaine action, ainsi qu'en anticipant ou en revenant en arrière si nécessaire pour faire des choix globaux. Nos expériences montrent que ToT améliore significativement les capacités de résolution de problèmes des modèles de langage sur trois tâches nouvelles nécessitant une planification ou une recherche non triviale : le Jeu de 24, l'Écriture Créative et les Mots Croisés Miniatures. Par exemple, dans le Jeu de 24, alors que GPT-4 avec l'incitation par Chaîne de Pensées ne résolvait que 4 % des tâches, notre méthode a atteint un taux de réussite de 74 %. Dépôt de code avec toutes les incitations : https://github.com/ysymyth/tree-of-thought-llm.

English

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.