En el Diagrama del Pensamiento

On the Diagram of Thought

September 16, 2024

Autores: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Resumen

Presentamos Diagram of Thought (DoT), un marco que modela el razonamiento iterativo en grandes modelos de lenguaje (LLMs) como la construcción de un grafo dirigido acíclico (DAG) dentro de un único modelo. A diferencia de enfoques tradicionales que representan el razonamiento como cadenas lineales o árboles, DoT organiza proposiciones, críticas, refinamientos y verificaciones en una estructura cohesiva de DAG, permitiendo que el modelo explore trayectorias de razonamiento complejas manteniendo la consistencia lógica. Cada nodo en el diagrama corresponde a una proposición que ha sido propuesta, criticada, refinada o verificada, permitiendo al LLM mejorar iterativamente su razonamiento a través de retroalimentación en lenguaje natural. Al aprovechar la predicción auto-regresiva del siguiente token con tokens específicos de rol, DoT facilita transiciones fluidas entre proponer ideas y evaluarlas críticamente, ofreciendo una retroalimentación más rica que señales binarias. Además, formalizamos el marco DoT utilizando la Teoría de Topos, proporcionando un fundamento matemático que garantiza la consistencia lógica y solidez en el proceso de razonamiento. Este enfoque mejora tanto los procesos de entrenamiento como de inferencia dentro de un único LLM, eliminando la necesidad de múltiples modelos o mecanismos de control externos. DoT ofrece un marco conceptual para diseñar modelos especializados en razonamiento de próxima generación, enfatizando la eficiencia en el entrenamiento, las capacidades de razonamiento robustas y el fundamento teórico. El código está disponible en https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.