Árvore de Pensamentos: Resolução de Problemas Deliberada com Modelos de Linguagem de Grande Escala

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

May 17, 2023

Autores: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan

cs.AI

Resumo

Os modelos de linguagem estão sendo cada vez mais implantados para a resolução geral de problemas em uma ampla gama de tarefas, mas ainda estão confinados a processos de tomada de decisão em nível de token, da esquerda para a direita, durante a inferência. Isso significa que eles podem falhar em tarefas que exigem exploração, antecipação estratégica ou onde as decisões iniciais desempenham um papel crucial. Para superar esses desafios, introduzimos um novo framework para inferência de modelos de linguagem, chamado Árvore de Pensamentos (Tree of Thoughts, ToT), que generaliza a abordagem popular de Cadeia de Pensamentos (Chain of Thought) para a solicitação de modelos de linguagem e permite a exploração de unidades coerentes de texto (pensamentos) que servem como etapas intermediárias para a resolução de problemas. O ToT permite que os modelos de linguagem realizem tomadas de decisão deliberadas, considerando múltiplos caminhos de raciocínio e autoavaliando escolhas para decidir o próximo curso de ação, além de antecipar ou retroceder quando necessário para fazer escolhas globais. Nossos experimentos mostram que o ToT melhora significativamente as habilidades de resolução de problemas dos modelos de linguagem em três tarefas novas que exigem planejamento ou busca não triviais: Jogo de 24, Escrita Criativa e Mini Palavras Cruzadas. Por exemplo, no Jogo de 24, enquanto o GPT-4 com a abordagem de cadeia de pensamentos resolveu apenas 4% das tarefas, nosso método alcançou uma taxa de sucesso de 74%. Repositório de código com todos os prompts: https://github.com/ysymyth/tree-of-thought-llm.

English

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.