Élagage des chaînes de raisonnement basé sur les graphes pour réduire les réflexions redondantes dans les LLMs de raisonnement

Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs

April 7, 2026

Auteurs: Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li

cs.AI

Résumé

L'extension du raisonnement en chaîne (CoT) par apprentissage par renforcement (RL) est largement utilisée pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, en raison de la rareté des signaux de récompense, elle peut également induire des schémas de pensée indésirables tels que la réflexion excessive, c'est-à-dire la génération de contenu de raisonnement intermédiaire redondant. Dans ce travail, nous soutenons qu'une source majeure de cette redondance est une réflexion inefficace, qui se manifeste souvent par deux schémas problématiques : la Réflexion Indiscriminée, où le modèle effectue des vérifications larges et à faible impact tout au long du raisonnement, et la Réflexion Répétitive, où il revérifie à plusieurs reprises une conclusion déjà établie. Pour y remédier, nous introduisons un cadre d'optimisation du CoT basé sur les graphes. Concrètement, nous convertissons chaque CoT linéaire en un graphe acyclique orienté (DAG) avec des arêtes de dépendance explicites, et nous concevons une stratégie d'élagage duale : l'élagage au niveau des branches supprime les branches de réflexion à faible contribution, tandis que l'élagage en profondeur élimine les revérifications en phase tardive. Nous distillons ce comportement via un pipeline en trois étapes : (1) un Fine-Tuning Supervisé (SFT) pour initialiser la politique sur des traces concises et élaguées, (2) l'Optimisation des Préférences Directes (DPO) pour privilégier les trajectoires correctes mais moins redondantes, et (3) l'Optimisation par Renforcement des Politiques avec Graphe (GRPO) avec pénalité de longueur pour optimiser conjointement l'exactitude de la réponse et l'efficacité. Les expériences montrent que notre approche réduit le nombre moyen de tokens de raisonnement de 42 % tout en maintenant ou en améliorant la précision.

English

Extending CoT through RL has been widely used to enhance the reasoning capabilities of LLMs. However, due to the sparsity of reward signals, it can also induce undesirable thinking patterns such as overthinking, i.e., generating redundant intermediate reasoning content. In this work, we argue that a major source of such redundancy is inefficient reflection, which often manifests in two problematic patterns: Indiscriminate Reflection, where the model performs broad, low-impact checks throughout reasoning, and Repetitive Reflection, where it repeatedly re-verifies an already established conclusion. To address this, we introduce a graph-based CoT optimization framework. Specifically, we convert each linear CoT into a directed acyclic graph (DAG) with explicit dependency edges, and design a dual pruning strategy: branch-level pruning removes weakly contributing reflection branches, while depth-level pruning eliminates late-stage re-verification. We distill this behavior via a three-stage pipeline: (1) SFT to initialize the policy on pruned concise traces, (2) DPO to prefer correct but less redundant trajectories, and (3) GRPO with length penalty to jointly optimize answer correctness and efficiency. Experiments show that our approach reduces the average reasoning tokens by 42\% while maintaining or improving accuracy.