MixReasoning: 사고 모드 전환을 통한 추론

초록

추론 모델은 문제를 단계별로 접근하고 이를 하위 문제로 분해하며, 답을 도출하기 전에 긴 사고의 연쇄를 탐구함으로써 성능을 향상시킵니다. 그러나 모든 단계에 확장된 추론을 적용하면 상당한 중복이 발생하는데, 이는 하위 문제들이 난이도와 복잡성 면에서 크게 다르기 때문입니다. 소수의 핵심 단계만이 실제로 도전적이며 최종 답에 결정적인 반면, 많은 다른 단계들은 단순한 수정이나 간단한 계산만을 포함합니다. 따라서 자연스러운 아이디어는 추론 모델에 이러한 변동에 적응적으로 대응할 수 있는 능력을 부여하여 모든 단계를 동일한 수준의 정교함으로 처리하지 않는 것입니다. 이를 위해 우리는 단일 응답 내에서 추론의 깊이를 동적으로 조절하는 MixReasoning 프레임워크를 제안합니다. 그 결과, 사고의 연쇄는 어려운 단계에 대한 상세한 추론과 간단한 단계에 대한 간결한 추론이 혼합된 형태가 됩니다. GSM8K, MATH-500, AIME에서의 실험 결과, MixReasoning은 추론 길이를 단축시키고 정확도를 저해하지 않으면서도 효율성을 크게 개선함을 보여줍니다.

English

Reasoning models enhance performance by tackling problems in a step-by-step manner, decomposing them into sub-problems and exploring long chains of thought before producing an answer. However, applying extended reasoning to every step introduces substantial redundancy, as sub-problems vary widely in difficulty and complexity: a small number of pivotal steps are genuinely challenging and decisive for the final answer, while many others only involve straightforward revisions or simple computations. Therefore, a natural idea is to endow reasoning models with the ability to adaptively respond to this variation, rather than treating all steps with the same level of elaboration. To this end, we propose MixReasoning, a framework that dynamically adjusts the depth of reasoning within a single response. The resulting chain of thought then becomes a mixture of detailed reasoning on difficult steps and concise inference on simpler ones. Experiments on GSM8K, MATH-500, and AIME show that MixReasoning shortens reasoning length and substantially improves efficiency without compromising accuracy.

MixReasoning: 사고 모드 전환을 통한 추론

MixReasoning: Switching Modes to Think

초록

Support