Potatura del Ragionamento a Catena Basata su Grafi per Ridurre le Riflessioni Ridondanti nei Modelli Linguistici di Ragionamento
Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs
April 7, 2026
Autori: Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li
cs.AI
Abstract
L'estensione del CoT tramite RL è stata ampiamente utilizzata per potenziare le capacità di ragionamento degli LLM. Tuttavia, a causa della scarsità dei segnali di ricompensa, essa può anche indurre modelli di pensiero indesiderati come l'*overthinking*, ovvero la generazione di contenuti di ragionamento intermedi ridondanti. In questo lavoro, sosteniamo che una delle principali fonti di tale ridondanza sia una riflessione inefficiente, che spesso si manifesta in due modelli problematici: *Indiscriminate Reflection*, in cui il modello esegue controlli ampi e a basso impatto durante il ragionamento, e *Repetitive Reflection*, in cui verifica ripetutamente una conclusione già stabilita. Per affrontare ciò, introduciamo un framework di ottimizzazione del CoT basato su grafi. Nello specifico, convertiamo ogni CoT lineare in un grafo aciclico diretto (DAG) con archi di dipendenza espliciti e progettiamo una strategia di potatura duale: la potatura a livello di ramo rimuove i rami di riflessione dal contributo debole, mentre la potatura a livello di profondità elimina le ri-verifiche nelle fasi finali. Distilliamo questo comportamento tramite una pipeline in tre fasi: (1) SFT per inizializzare la politica su tracce concise e potate, (2) DPO per preferire traiettorie corrette ma meno ridondanti, e (3) GRPO con penalità di lunghezza per ottimizzare congiuntamente la correttezza della risposta e l'efficienza. Gli esperimenti mostrano che il nostro approccio riduce i token di ragionamento medi del 42% mantenendo o migliorando l'accuratezza.
English
Extending CoT through RL has been widely used to enhance the reasoning capabilities of LLMs. However, due to the sparsity of reward signals, it can also induce undesirable thinking patterns such as overthinking, i.e., generating redundant intermediate reasoning content. In this work, we argue that a major source of such redundancy is inefficient reflection, which often manifests in two problematic patterns: Indiscriminate Reflection, where the model performs broad, low-impact checks throughout reasoning, and Repetitive Reflection, where it repeatedly re-verifies an already established conclusion. To address this, we introduce a graph-based CoT optimization framework. Specifically, we convert each linear CoT into a directed acyclic graph (DAG) with explicit dependency edges, and design a dual pruning strategy: branch-level pruning removes weakly contributing reflection branches, while depth-level pruning eliminates late-stage re-verification. We distill this behavior via a three-stage pipeline: (1) SFT to initialize the policy on pruned concise traces, (2) DPO to prefer correct but less redundant trajectories, and (3) GRPO with length penalty to jointly optimize answer correctness and efficiency. Experiments show that our approach reduces the average reasoning tokens by 42\% while maintaining or improving accuracy.