대규모 추론 모델을 위한 효율적 추론: 연구 동향 분석

Efficient Inference for Large Reasoning Models: A Survey

March 29, 2025

저자: Yue Liu, Jiaying Wu, Yufei He, Hongcheng Gao, Hongyu Chen, Baolong Bi, Jiaheng Zhang, Zhiqi Huang, Bryan Hooi

cs.AI

초록

대형 추론 모델(LRMs)은 추론 능력을 학습함으로써 대형 언어 모델(LLMs)의 추론 능력을 크게 향상시키며, 복잡한 문제 해결에서 유망한 성능을 보여줍니다. 그러나 이러한 숙고적 추론 과정은 토큰 사용, 메모리 소비, 추론 시간 측면에서 비효율성을 초래합니다. 따라서 본 논문은 LRMs를 위해 특별히 설계된 효율적인 추론 방법을 검토하며, 추론 품질을 유지하면서 토큰 비효율성을 완화하는 데 초점을 맞춥니다. 먼저, 최근의 방법들을 두 가지 주요 범주로 분류하는 체계를 소개합니다: (a) 명시적 간결한 사고의 연쇄(CoT)는 명시적 추론 구조를 유지하면서 토큰을 줄이는 방법이며, (b) 암묵적 잠재 CoT는 명시적 토큰 대신 숨겨진 표현 내에 추론 단계를 인코딩하는 방법입니다. 동시에, 이러한 방법들의 강점과 약점을 논의합니다. 그런 다음, 기존 방법들을 성능과 효율성 측면에서 실증적으로 분석합니다. 또한, 이 분야의 열린 과제들, 예를 들어 인간 중심의 제어 가능한 추론, 추론의 해석 가능성과 효율성 간의 균형, 효율적 추론의 안전성 보장, 그리고 효율적 추론의 광범위한 응용 등을 제시합니다. 더불어, 모델 병합, 새로운 아키텍처, 에이전트 라우터와 같은 기술을 통해 LRMs의 추론 효율성을 향상시키기 위한 주요 통찰을 강조합니다. 본 연구가 이 활기찬 분야의 도전을 극복하는 데 유용한 가이드가 되기를 바랍니다.

English

Large Reasoning Models (LRMs) significantly improve the reasoning ability of Large Language Models (LLMs) by learning to reason, exhibiting promising performance in complex task-solving. However, their deliberative reasoning process leads to inefficiencies in token usage, memory consumption, and inference time. Thus, this survey provides a review of efficient inference methods designed specifically for LRMs, focusing on mitigating token inefficiency while preserving the reasoning quality. First, we introduce a taxonomy to group the recent methods into two main categories: (a) explicit compact Chain-of-Thought (CoT), which reduces tokens while keeping the explicit reasoning structure, and (b) implicit latent CoT, which encodes reasoning steps within hidden representations instead of explicit tokens. Meanwhile, we discuss their strengths and weaknesses. Then, we conduct empirical analyses on existing methods from performance and efficiency aspects. Besides, we present open challenges in this field, including human-centric controllable reasoning, trade-off between interpretability and efficiency of reasoning, ensuring safety of efficient reasoning, and broader applications of efficient reasoning. In addition, we highlight key insights for enhancing LRMs' inference efficiency via techniques such as model merging, new architectures, and agent routers. We hope this work serves as a valuable guide, helping researchers overcome challenges in this vibrant fieldhttps://github.com/yueliu1999/Awesome-Efficient-Inference-for-LRMs.