대규모 추론 모델을 위한 효율적 추론 기술 연구: 언어, 멀티모달리티 및 그 이상

A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond

March 27, 2025

저자: Xiaoye Qu, Yafu Li, Zhaochen Su, Weigao Sun, Jianhao Yan, Dongrui Liu, Ganqu Cui, Daizong Liu, Shuxian Liang, Junxian He, Peng Li, Wei Wei, Jing Shao, Chaochao Lu, Yue Zhang, Xian-Sheng Hua, Bowen Zhou, Yu Cheng

cs.AI

초록

최근 DeepSeek-R1과 OpenAI o1과 같은 대규모 추론 모델(Large Reasoning Models, LRMs)은 추론 과정에서 사고의 연쇄(Chain-of-Thought, CoT) 길이를 확장함으로써 강력한 성능 향상을 보여주었습니다. 그러나 이러한 모델들은 과도하게 긴 추론 흔적을 생성하는 경향이 있으며, 이는 종종 중복된 내용(예: 반복된 정의), 간단한 문제에 대한 과도한 분석, 그리고 어려운 작업에 대한 피상적인 다중 추론 경로 탐색으로 가득 차 있습니다. 이러한 비효율성은 토큰 경제가 중요한 훈련, 추론 및 실제 배포(예: 에이전트 기반 시스템)에서 상당한 도전 과제를 야기합니다. 본 조사에서는 이 새로운 패러다임에서 발생하는 독특한 도전 과제에 특히 초점을 맞춰 LRMs의 추론 효율성을 개선하기 위한 최근의 노력을 포괄적으로 개관합니다. 우리는 비효율성의 일반적인 패턴을 식별하고, LRM 생애주기(즉, 사전 훈련부터 추론까지)에서 제안된 방법들을 검토하며, 연구의 유망한 미래 방향에 대해 논의합니다. 지속적인 개발을 지원하기 위해, 우리는 또한 이 분야의 최근 진행 상황을 추적하는 실시간 GitHub 저장소를 유지합니다. 우리는 이 조사가 더 깊은 탐구의 기초가 되고 이 빠르게 진화하는 분야에서 혁신을 고무하기를 바랍니다.

English

Recent Large Reasoning Models (LRMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated strong performance gains by scaling up the length of Chain-of-Thought (CoT) reasoning during inference. However, a growing concern lies in their tendency to produce excessively long reasoning traces, which are often filled with redundant content (e.g., repeated definitions), over-analysis of simple problems, and superficial exploration of multiple reasoning paths for harder tasks. This inefficiency introduces significant challenges for training, inference, and real-world deployment (e.g., in agent-based systems), where token economy is critical. In this survey, we provide a comprehensive overview of recent efforts aimed at improving reasoning efficiency in LRMs, with a particular focus on the unique challenges that arise in this new paradigm. We identify common patterns of inefficiency, examine methods proposed across the LRM lifecycle, i.e., from pretraining to inference, and discuss promising future directions for research. To support ongoing development, we also maintain a real-time GitHub repository tracking recent progress in the field. We hope this survey serves as a foundation for further exploration and inspires innovation in this rapidly evolving area.