Über das Diagramm des Denkens

On the Diagram of Thought

September 16, 2024

papers.authors: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

papers.abstract

Wir stellen das Diagramm des Denkens (DoT) vor, ein Framework, das das iterative Argumentieren in großen Sprachmodellen (LLMs) als die Konstruktion eines gerichteten azyklischen Graphen (DAG) innerhalb eines einzigen Modells modelliert. Im Gegensatz zu traditionellen Ansätzen, die Argumentieren als lineare Ketten oder Bäume darstellen, organisiert DoT Vorschläge, Kritiken, Verfeinerungen und Überprüfungen in einer kohärenten DAG-Struktur, die es dem Modell ermöglicht, komplexe Argumentationswege zu erkunden, während die logische Konsistenz aufrechterhalten wird. Jeder Knoten im Diagramm entspricht einer Proposition, die vorgeschlagen, kritisiert, verfeinert oder überprüft wurde, was es dem LLM ermöglicht, sein Argumentieren durch Feedback in natürlicher Sprache iterativ zu verbessern. Durch die Nutzung der autoregressiven Vorhersage des nächsten Tokens mit rollenspezifischen Tokens erleichtert DoT nahtlose Übergänge zwischen Ideenvorschlägen und kritischer Bewertung, wodurch ein reichhaltigeres Feedback als binäre Signale bereitgestellt wird. Darüber hinaus formalisieren wir das DoT-Framework unter Verwendung der Topos-Theorie, was eine mathematische Grundlage bietet, die logische Konsistenz und Stimmigkeit im Argumentationsprozess gewährleistet. Dieser Ansatz verbessert sowohl die Trainings- als auch die Inferenzprozesse innerhalb eines einzelnen LLM, wodurch die Notwendigkeit für mehrere Modelle oder externe Steuermechanismen entfällt. DoT bietet ein konzeptionelles Framework für das Design von Argumentationsspezialisierten Modellen der nächsten Generation, wobei die Effizienz des Trainings, robuste Argumentationsfähigkeiten und theoretische Fundierung im Vordergrund stehen. Der Code ist verfügbar unter https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.