InftyThink+: Эффективное и результативное рассуждение на бесконечном горизонте с помощью обучения с подкреплением
InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning
February 6, 2026
Авторы: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen
cs.AI
Аннотация
Крупные модели рассуждений демонстрируют высокую производительность за счет масштабирования цепочек мыслей (chain-of-thought) на этапе вывода, однако эта парадигма страдает от квадратичной стоимости вычислений, ограничений длины контекста и ухудшения качества рассуждений из-за эффекта "потери в середине". Итеративные рассуждения смягчают эти проблемы за счет периодического суммирования промежуточных мыслей, но существующие методы полагаются на обучение с учителем или фиксированные эвристики и не оптимизируют моменты суммирования, сохраняемую информацию и стратегию возобновления рассуждений. Мы предлагаем InftyThink+, сквозную框架 обучения с подкреплением, которая оптимизирует всю траекторию итеративных рассуждений, используя управляемые моделью границы итераций и явное суммирование. InftyThink+ применяет двухэтапную схему обучения: холодный старт с учителем с последующим обучением с подкреплением на уровне траекторий, что позволяет модели изучать стратегические решения о суммировании и продолжении. Эксперименты на DeepSeek-R1-Distill-Qwen-1.5B показывают, что InftyThink+ повышает точность на 21% на AIME24 и превосходит традиционное обучение с подкреплением для длинных цепочек мыслей с значительным отрывом, одновременно демонстрируя лучшую обобщающую способность на тестах вне распределения. Более того, InftyThink+ существенно снижает задержку вывода и ускоряет обучение с подкреплением, демонстрируя повышенную эффективность рассуждений наряду с улучшенной производительностью.
English
Large reasoning models achieve strong performance by scaling inference-time chain-of-thought, but this paradigm suffers from quadratic cost, context length limits, and degraded reasoning due to lost-in-the-middle effects. Iterative reasoning mitigates these issues by periodically summarizing intermediate thoughts, yet existing methods rely on supervised learning or fixed heuristics and fail to optimize when to summarize, what to preserve, and how to resume reasoning. We propose InftyThink+, an end-to-end reinforcement learning framework that optimizes the entire iterative reasoning trajectory, building on model-controlled iteration boundaries and explicit summarization. InftyThink+ adopts a two-stage training scheme with supervised cold-start followed by trajectory-level reinforcement learning, enabling the model to learn strategic summarization and continuation decisions. Experiments on DeepSeek-R1-Distill-Qwen-1.5B show that InftyThink+ improves accuracy by 21% on AIME24 and outperforms conventional long chain-of-thought reinforcement learning by a clear margin, while also generalizing better to out-of-distribution benchmarks. Moreover, InftyThink+ significantly reduces inference latency and accelerates reinforcement learning training, demonstrating improved reasoning efficiency alongside stronger performance.