Sul Diagramma del Pensiero

On the Diagram of Thought

September 16, 2024

Autori: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

Abstract

Introduciamo il Diagramma del Pensiero (DoT), un framework che modella il ragionamento iterativo nei grandi modelli linguistici (LLM) come la costruzione di un grafo diretto aciclico (DAG) all'interno di un singolo modello. A differenza degli approcci tradizionali che rappresentano il ragionamento come catene lineari o alberi, DoT organizza proposizioni, critiche, perfezionamenti e verifiche in una struttura coesa a DAG, consentendo al modello di esplorare percorsi di ragionamento complessi mantenendo al contempo coerenza logica. Ogni nodo nel diagramma corrisponde a una proposizione che è stata proposta, criticata, perfezionata o verificata, consentendo al LLM di migliorare iterativamente il suo ragionamento attraverso un feedback in linguaggio naturale. Sfruttando la previsione auto-regressiva del token successivo con token specifici del ruolo, DoT facilita transizioni fluide tra la proposta di idee e la valutazione critica, fornendo un feedback più ricco rispetto ai segnali binari. Inoltre, formalizziamo il framework DoT utilizzando la Teoria dei Topoi, fornendo una base matematica che garantisce coerenza logica e solidità nel processo di ragionamento. Questo approccio potenzia sia i processi di addestramento che di inferenza all'interno di un singolo LLM, eliminando la necessità di modelli multipli o meccanismi di controllo esterni. DoT offre un framework concettuale per progettare modelli specializzati nel ragionamento di prossima generazione, enfatizzando l'efficienza dell'addestramento, le capacità di ragionamento robuste e le basi teoriche. Il codice è disponibile su https://github.com/diagram-of-thought/diagram-of-thought.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.