思考の図式について

On the Diagram of Thought

September 16, 2024

著者: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

要旨

私たちは、思考のダイアグラム（DoT）というフレームワークを導入します。このフレームワークは、大規模言語モデル（LLM）における反復推論を、単一モデル内での有向非巡回グラフ（DAG）の構築としてモデル化します。推論を線形の連鎖や木として表現する従来のアプローチとは異なり、DoTは命題、批評、改良、検証を一貫したDAG構造に整理し、モデルが複雑な推論経路を探索しながら論理的整合性を維持できるようにします。図中の各ノードは、提案された、批評された、改良された、または検証された命題に対応し、LLMが自然言語フィードバックを通じて推論を反復的に改善できるようにします。DoTは、役割固有のトークンを用いた自己回帰的な次トークン予測を活用することで、アイデアの提案と批判的評価の間でシームレスな移行を容易にし、バイナリ信号よりも豊かなフィードバックを提供します。さらに、我々はTopos理論を用いてDoTフレームワークを形式化し、推論プロセスにおける論理的整合性と正当性を保証する数学的基盤を提供します。このアプローチは、単一のLLM内でのトレーニングと推論プロセスの両方を向上させ、複数のモデルや外部制御メカニズムの必要性を排除します。DoTは、次世代の推論専門モデルを設計するための概念的枠組みを提供し、トレーニング効率、堅牢な推論能力、および理論的基盤を重視します。コードはhttps://github.com/diagram-of-thought/diagram-of-thoughtで入手可能です。

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.