На диаграмме мышления

On the Diagram of Thought

September 16, 2024

Авторы: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Аннотация

Мы представляем Diagram of Thought (DoT), фреймворк, моделирующий итеративное рассуждение в больших языковых моделях (LLM) как построение направленного ациклического графа (DAG) в рамках одной модели. В отличие от традиционных подходов, представляющих рассуждение как линейные цепочки или деревья, DoT организует утверждения, критики, уточнения и проверки в единый DAG-структуру, позволяя модели исследовать сложные пути рассуждений, сохраняя логическую последовательность. Каждый узел в диаграмме соответствует утверждению, которое было предложено, скритиковано, уточнено или проверено, позволяя LLM итеративно улучшать свои рассуждения через обратную связь на естественном языке. Путем использования авторегрессивного прогнозирования следующего токена с помощью токенов, специфичных для роли, DoT облегчает плавные переходы между предложением идей и их критической оценкой, обеспечивая более богатую обратную связь, чем бинарные сигналы. Более того, мы формализуем фреймворк DoT, используя Топос-теорию, обеспечивая математическое основание, которое гарантирует логическую последовательность и обоснованность в процессе рассуждения. Этот подход улучшает как процессы обучения, так и вывода в рамках одной LLM, устраняя необходимость в нескольких моделях или внешних механизмах управления. DoT предлагает концептуальный фреймворк для разработки моделей, специализированных на рассуждениях следующего поколения, акцентируя внимание на эффективности обучения, устойчивых рассуждениях и теоретическом обосновании. Код доступен по ссылке https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.