Poda de la Cadena de Razonamiento Basada en Grafos para Reducir Reflexiones Redundantes en Modelos de Lenguaje Grandes de Razonamiento

Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs

April 7, 2026

Autores: Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li

cs.AI

Resumen

La extensión de CoT mediante RL se ha utilizado ampliamente para mejorar las capacidades de razonamiento de los LLM. Sin embargo, debido a la escasez de señales de recompensa, también puede inducir patrones de pensamiento no deseados como el sobrepensamiento, es decir, generar contenido de razonamiento intermedio redundante. En este trabajo, sostenemos que una fuente principal de dicha redundancia es la reflexión ineficiente, que a menudo se manifiesta en dos patrones problemáticos: Reflexión Indiscriminada, donde el modelo realiza comprobaciones amplias y de bajo impacto durante el razonamiento, y Reflexión Repetitiva, donde re-verifica repetidamente una conclusión ya establecida. Para abordarlo, presentamos un marco de optimización de CoT basado en grafos. Específicamente, convertimos cada CoT lineal en un grafo acíclico dirigido (DAG) con arcos de dependencia explícitos y diseñamos una estrategia de poda dual: la poda a nivel de rama elimina las ramas de reflexión que contribuyen débilmente, mientras que la poda a nivel de profundidad elimina las re-verificaciones en etapas tardías. Destilamos este comportamiento mediante una canalización de tres etapas: (1) Ajuste Supervisado (SFT) para inicializar la política en trazas concisas podadas, (2) Optimización de Preferencias Directas (DPO) para preferir trayectorias correctas pero menos redundantes, y (3) Optimización de Políticas de Recompensa de Gráficos (GRPO) con penalización de longitud para optimizar conjuntamente la corrección de la respuesta y la eficiencia. Los experimentos muestran que nuestro enfoque reduce los tokens de razonamiento promedio en un 42\% manteniendo o mejorando la precisión.

English

Extending CoT through RL has been widely used to enhance the reasoning capabilities of LLMs. However, due to the sparsity of reward signals, it can also induce undesirable thinking patterns such as overthinking, i.e., generating redundant intermediate reasoning content. In this work, we argue that a major source of such redundancy is inefficient reflection, which often manifests in two problematic patterns: Indiscriminate Reflection, where the model performs broad, low-impact checks throughout reasoning, and Repetitive Reflection, where it repeatedly re-verifies an already established conclusion. To address this, we introduce a graph-based CoT optimization framework. Specifically, we convert each linear CoT into a directed acyclic graph (DAG) with explicit dependency edges, and design a dual pruning strategy: branch-level pruning removes weakly contributing reflection branches, while depth-level pruning eliminates late-stage re-verification. We distill this behavior via a three-stage pipeline: (1) SFT to initialize the policy on pruned concise traces, (2) DPO to prefer correct but less redundant trajectories, and (3) GRPO with length penalty to jointly optimize answer correctness and efficiency. Experiments show that our approach reduces the average reasoning tokens by 42\% while maintaining or improving accuracy.