Over het Diagram van Gedachten

On the Diagram of Thought

September 16, 2024

Auteurs: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Samenvatting

We introduceren Diagram of Thought (DoT), een raamwerk dat iteratief redeneren in grote taalmodellen (LLM's) modelleert als de constructie van een gerichte acyclische graaf (DAG) binnen één model. In tegenstelling tot traditionele benaderingen die redeneren voorstellen als lineaire ketens of bomen, organiseert DoT proposities, kritieken, verfijningen en verificaties in een samenhangende DAG-structuur, waardoor het model complexe redeneerpaden kan verkennen met behoud van logische consistentie. Elke knoop in het diagram komt overeen met een propositie die is voorgesteld, bekritiseerd, verfijnd of geverifieerd, waardoor het LLM iteratief zijn redenering kan verbeteren via feedback in natuurlijke taal. Door gebruik te maken van auto-regressieve volgende-token voorspelling met rol-specifieke tokens, vergemakkelijkt DoT naadloze overgangen tussen het voorstellen van ideeën en het kritisch evalueren ervan, waardoor rijkere feedback wordt geboden dan binair signaal. Bovendien formaliseren we het DoT-raamwerk met behulp van Topos Theorie, waardoor een wiskundige basis wordt geboden die logische consistentie en degelijkheid in het redeneerproces waarborgt. Deze benadering verbetert zowel de training als de inferentieprocessen binnen een enkel LLM, waardoor de noodzaak voor meerdere modellen of externe controlemechanismen wordt geëlimineerd. DoT biedt een conceptueel raamwerk voor het ontwerpen van redeneermodellen van de volgende generatie, waarbij de nadruk ligt op trainings-efficiëntie, robuuste redeneervaardigheden en theoretische onderbouwing. De code is beschikbaar op https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.