Árbol de Pensamientos: Resolución de Problemas Deliberada con Modelos de Lenguaje a Gran Escala

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

May 17, 2023

Autores: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan

cs.AI

Resumen

Los modelos de lenguaje se están implementando cada vez más para la resolución general de problemas en una amplia gama de tareas, pero aún están limitados a procesos de toma de decisiones a nivel de tokens, de izquierda a derecha, durante la inferencia. Esto significa que pueden fallar en tareas que requieren exploración, anticipación estratégica o donde las decisiones iniciales juegan un papel crucial. Para superar estos desafíos, presentamos un nuevo marco para la inferencia de modelos de lenguaje, Árbol de Pensamientos (Tree of Thoughts, ToT), que generaliza el enfoque popular de Cadena de Pensamiento (Chain of Thought) para la activación de modelos de lenguaje y permite la exploración sobre unidades coherentes de texto (pensamientos) que sirven como pasos intermedios hacia la resolución de problemas. ToT permite a los modelos de lenguaje realizar una toma de decisiones deliberada al considerar múltiples rutas de razonamiento y autoevaluar las opciones para decidir el siguiente curso de acción, así como anticipar o retroceder cuando sea necesario para tomar decisiones globales. Nuestros experimentos muestran que ToT mejora significativamente las habilidades de resolución de problemas de los modelos de lenguaje en tres tareas novedosas que requieren planificación o búsqueda no trivial: Juego del 24, Escritura Creativa y Mini Crucigramas. Por ejemplo, en el Juego del 24, mientras que GPT-4 con activación de cadena de pensamiento solo resolvió el 4% de las tareas, nuestro método logró una tasa de éxito del 74%. Repositorio de código con todos los prompts: https://github.com/ysymyth/tree-of-thought-llm.

English

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.