Sur le Schéma de la Pensée

On the Diagram of Thought

September 16, 2024

Auteurs: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Résumé

Nous présentons le Diagramme de la Pensée (DoT), un cadre qui modélise le raisonnement itératif dans les grands modèles de langage (LLM) comme la construction d'un graphe acyclique dirigé (DAG) au sein d'un seul modèle. Contrairement aux approches traditionnelles qui représentent le raisonnement sous forme de chaînes linéaires ou d'arbres, DoT organise les propositions, les critiques, les raffinements et les vérifications dans une structure DAG cohérente, permettant au modèle d'explorer des voies de raisonnement complexes tout en maintenant une cohérence logique. Chaque nœud dans le diagramme correspond à une proposition qui a été proposée, critiquée, affinée ou vérifiée, permettant au LLM d'améliorer itérativement son raisonnement grâce à des retours en langage naturel. En exploitant la prédiction auto-régressive du prochain jeton avec des jetons spécifiques au rôle, DoT facilite les transitions fluides entre la proposition d'idées et leur évaluation critique, fournissant des retours plus riches que des signaux binaires. De plus, nous formalisons le cadre DoT en utilisant la Théorie des Topos, fournissant une base mathématique qui garantit la cohérence logique et la solidité du processus de raisonnement. Cette approche améliore à la fois les processus d'entraînement et d'inférence au sein d'un seul LLM, éliminant le besoin de plusieurs modèles ou de mécanismes de contrôle externes. DoT offre un cadre conceptuel pour la conception de modèles spécialisés en raisonnement de nouvelle génération, mettant l'accent sur l'efficacité de l'entraînement, les capacités de raisonnement robustes et les fondements théoriques. Le code est disponible sur https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.