Graphenbasierte Chain-of-Thought-Ausdünnung zur Reduzierung redundanter Reflektionen in reasoning LLMs
Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs
April 7, 2026
Autoren: Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li
cs.AI
Zusammenfassung
Die Erweiterung von CoT durch RL wird häufig eingesetzt, um die Reasoning-Fähigkeiten von LLMs zu verbessern. Aufgrund der Sparsity von Belohnungssignalen kann dies jedoch auch unerwünschte Denkmuster induzieren, wie etwa Overthinking – also die Generierung redundanter Zwischenschritte in der Argumentation. In dieser Arbeit zeigen wir, dass eine Hauptursache für solche Redundanzen ineffiziente Reflexion ist, die sich häufig in zwei problematischen Mustern äußert: Indiscriminate Reflection, bei dem das Modell breite, wirkungslose Überprüfungen während des Reasonings durchführt, und Repetitive Reflection, bei dem es bereits etablierte Schlussfolgerungen wiederholt verifiziert. Um dies zu adressieren, führen wir ein graphenbasiertes CoT-Optimierungsframework ein. Konkret konvertieren wir jeden linearen CoT in einen gerichteten azyklischen Graphen (DAG) mit expliziten Abhängigkeitskanten und entwerfen eine Dual-Pruning-Strategie: Branch-Level Pruning entfernt schwach beitragende Reflexionszweige, während Depth-Level Pruning späte Nachverifikationen eliminiert. Wir distillieren dieses Verhalten über eine dreistufige Pipeline: (1) SFT zur Initialisierung der Policy anhand bereinigter, prägnanter Traces, (2) DPO zur Bevorzugung korrekter aber weniger redundanter Trajektorien und (3) GRPO mit Längenpenalty zur gemeinsamen Optimierung von Antwortkorrektheit und Effizienz. Experimente zeigen, dass unser Ansatz die durchschnittlichen Reasoning-Tokens um 42 % reduziert, während die Genauigkeit erhalten oder sogar verbessert wird.
English
Extending CoT through RL has been widely used to enhance the reasoning capabilities of LLMs. However, due to the sparsity of reward signals, it can also induce undesirable thinking patterns such as overthinking, i.e., generating redundant intermediate reasoning content. In this work, we argue that a major source of such redundancy is inefficient reflection, which often manifests in two problematic patterns: Indiscriminate Reflection, where the model performs broad, low-impact checks throughout reasoning, and Repetitive Reflection, where it repeatedly re-verifies an already established conclusion. To address this, we introduce a graph-based CoT optimization framework. Specifically, we convert each linear CoT into a directed acyclic graph (DAG) with explicit dependency edges, and design a dual pruning strategy: branch-level pruning removes weakly contributing reflection branches, while depth-level pruning eliminates late-stage re-verification. We distill this behavior via a three-stage pipeline: (1) SFT to initialize the policy on pruned concise traces, (2) DPO to prefer correct but less redundant trajectories, and (3) GRPO with length penalty to jointly optimize answer correctness and efficiency. Experiments show that our approach reduces the average reasoning tokens by 42\% while maintaining or improving accuracy.