사고 조작: 대규모 추론 모델에서 외부 사고가 효율적일 수 있음

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

저자: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

초록

최근 대규모 추론 모델(Large Reasoning Models, LRMs)의 발전은 테스트 시간 계산을 확장하여 다양한 작업에서 추론 능력을 향상시키는 효과를 입증했습니다. 그러나 LRMs는 일반적으로 "과도한 사고(overthinking)" 문제를 겪는데, 이는 모델이 성능 향상에 비해 상당히 중복된 추론 단계를 생성하는 현상을 말합니다. 기존 연구는 이러한 과도한 사고를 완화하기 위해 미세 조정(fine-tuning)에 의존하지만, 이는 추가 데이터, 비전통적인 학습 설정, 안전성 불일치 위험, 그리고 낮은 일반화 성능을 요구합니다. 우리는 실증적 분석을 통해 LRM의 중요한 행동 특성을 발견했습니다. 더 작은 모델에 의해 생성된 외부 사고 사슬(CoTs)을 사고 토큰(<think>과 </think>) 사이에 배치하면 모델이 더 적은 사고를 생성하도록 효과적으로 조작할 수 있습니다. 이러한 통찰을 바탕으로, 우리는 LRM이 불필요한 중간 단계를 우회하고 계산 비용을 크게 줄일 수 있도록 하는 간단하면서도 효율적인 파이프라인인 ThoughtMani를 제안합니다. 우리는 ThoughtMani의 유용성과 효율성을 검증하기 위해 광범위한 실험을 수행했습니다. 예를 들어, LiveBench/Code 데이터셋에서 QwQ-32B에 ThoughtMani를 적용했을 때, 원래의 성능을 유지하면서 출력 토큰 수를 약 30% 줄였으며, CoT 생성기의 오버헤드는 거의 없었습니다. 또한, ThoughtMani는 안전성 정렬을 평균 10% 향상시키는 것으로 나타났습니다. 모델 공급업체는 일반적으로 다양한 크기의 모델을 동시에 제공하므로, ThoughtMani는 실제 애플리케이션을 위해 더 효율적이고 접근 가능한 LRM을 구축하는 효과적인 방법을 제공합니다.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.