Графовая обрезка цепочек рассуждений для сокращения избыточных рефлексий в рассуждающих больших языковых моделях
Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs
April 7, 2026
Авторы: Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li
cs.AI
Аннотация
Расширение метода цепочек рассуждений (CoT) с помощью обучения с подкреплением (RL) широко используется для улучшения логических способностей больших языковых моделей (LLM). Однако из-за разреженности сигналов вознаграждения это также может приводить к нежелательным шаблонам мышления, таким как избыточные размышления (overthinking), то есть генерация избыточного промежуточного содержания рассуждений. В данной работе мы утверждаем, что основной источник такой избыточности — неэффективная рефлексия, которая часто проявляется в двух проблемных паттернах: неразборчивая рефлексия, когда модель выполняет широкие, малозначимые проверки на протяжении всего рассуждения, и повторяющаяся рефлексия, когда она многократно перепроверяет уже установленный вывод. Для решения этой проблемы мы представляем графовую структуру оптимизации CoT. А именно, мы преобразуем каждую линейную цепочку CoT в направленный ациклический граф (DAG) с явными ребрами зависимостей и разрабатываем стратегию двойного упрощения: упрощение на уровне ветвей удаляет слабовлиятельные ветви рефлексии, а упрощение на уровне глубины устраняет поздние перепроверки. Мы выделяем это поведение с помощью трехэтапного конвейера: (1) SFT для инициализации политики на упрощенных лаконичных траекториях, (2) DPO для предпочтения правильных, но менее избыточных траекторий и (3) GRPO с штрафом за длину для совместной оптимизации правильности ответов и эффективности. Эксперименты показывают, что наш подход сокращает среднее количество токенов рассуждения на 42%, сохраняя или улучшая точность.
English
Extending CoT through RL has been widely used to enhance the reasoning capabilities of LLMs. However, due to the sparsity of reward signals, it can also induce undesirable thinking patterns such as overthinking, i.e., generating redundant intermediate reasoning content. In this work, we argue that a major source of such redundancy is inefficient reflection, which often manifests in two problematic patterns: Indiscriminate Reflection, where the model performs broad, low-impact checks throughout reasoning, and Repetitive Reflection, where it repeatedly re-verifies an already established conclusion. To address this, we introduce a graph-based CoT optimization framework. Specifically, we convert each linear CoT into a directed acyclic graph (DAG) with explicit dependency edges, and design a dual pruning strategy: branch-level pruning removes weakly contributing reflection branches, while depth-level pruning eliminates late-stage re-verification. We distill this behavior via a three-stage pipeline: (1) SFT to initialize the policy on pruned concise traces, (2) DPO to prefer correct but less redundant trajectories, and (3) GRPO with length penalty to jointly optimize answer correctness and efficiency. Experiments show that our approach reduces the average reasoning tokens by 42\% while maintaining or improving accuracy.