No Diagrama do Pensamento

On the Diagram of Thought

September 16, 2024

Autores: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Resumo

Apresentamos o Diagrama do Pensamento (DoT), um framework que modela o raciocínio iterativo em grandes modelos de linguagem (LLMs) como a construção de um grafo direcionado acíclico (DAG) dentro de um único modelo. Ao contrário de abordagens tradicionais que representam o raciocínio como cadeias lineares ou árvores, o DoT organiza proposições, críticas, refinamentos e verificações em uma estrutura coesa de DAG, permitindo que o modelo explore caminhos de raciocínio complexos mantendo a consistência lógica. Cada nó no diagrama corresponde a uma proposição que foi proposta, criticada, refinada ou verificada, permitindo que o LLM melhore iterativamente seu raciocínio por meio de feedback em linguagem natural. Ao alavancar a previsão auto-regressiva do próximo token com tokens específicos de função, o DoT facilita transições contínuas entre a proposição de ideias e a avaliação crítica delas, fornecendo um feedback mais rico do que sinais binários. Além disso, formalizamos o framework DoT usando a Teoria dos Topos, fornecendo uma base matemática que garante consistência lógica e solidez no processo de raciocínio. Essa abordagem aprimora tanto os processos de treinamento quanto de inferência dentro de um único LLM, eliminando a necessidade de múltiplos modelos ou mecanismos de controle externos. O DoT oferece um framework conceitual para o design de modelos especializados em raciocínio de próxima geração, enfatizando a eficiência de treinamento, capacidades de raciocínio robustas e fundamentação teórica. O código está disponível em https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.