MixReasoning: 思考モードの切り替え

要旨

推論モデルは、問題を段階的に処理し、サブ問題に分解し、長い思考の連鎖を探索することで性能を向上させます。しかし、すべてのステップに拡張された推論を適用することは、サブ問題の難易度と複雑さが大きく異なるため、大幅な冗長性を引き起こします。少数の重要なステップが真に困難で最終的な答えに決定的である一方、他の多くのステップは単純な修正や簡単な計算に過ぎません。したがって、自然な考え方は、推論モデルにこの変動に適応的に応答する能力を与えることであり、すべてのステップを同じレベルの詳細さで扱うのではなく、適応的に調整することです。この目的のために、我々はMixReasoningを提案します。これは、単一の応答内で推論の深さを動的に調整するフレームワークです。その結果、思考の連鎖は、困難なステップに対する詳細な推論と、より単純なステップに対する簡潔な推論の混合物となります。GSM8K、MATH-500、およびAIMEでの実験により、MixReasoningが推論の長さを短縮し、精度を損なうことなく効率を大幅に向上させることが示されました。

English

Reasoning models enhance performance by tackling problems in a step-by-step manner, decomposing them into sub-problems and exploring long chains of thought before producing an answer. However, applying extended reasoning to every step introduces substantial redundancy, as sub-problems vary widely in difficulty and complexity: a small number of pivotal steps are genuinely challenging and decisive for the final answer, while many others only involve straightforward revisions or simple computations. Therefore, a natural idea is to endow reasoning models with the ability to adaptively respond to this variation, rather than treating all steps with the same level of elaboration. To this end, we propose MixReasoning, a framework that dynamically adjusts the depth of reasoning within a single response. The resulting chain of thought then becomes a mixture of detailed reasoning on difficult steps and concise inference on simpler ones. Experiments on GSM8K, MATH-500, and AIME show that MixReasoning shortens reasoning length and substantially improves efficiency without compromising accuracy.

MixReasoning: 思考モードの切り替え

MixReasoning: Switching Modes to Think

要旨

Support