Эффективные модели рассуждений: обзор

Efficient Reasoning Models: A Survey

April 15, 2025

Авторы: Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang

cs.AI

Аннотация

Модели рассуждений продемонстрировали значительный прогресс в решении сложных и логически насыщенных задач, генерируя расширенные цепочки рассуждений (Chain-of-Thoughts, CoTs) перед получением окончательного ответа. Однако появление этой парадигмы "медленного мышления", при которой последовательно генерируется множество токенов, неизбежно приводит к существенным вычислительным затратам. Это подчеркивает острую необходимость в эффективном ускорении. Данный обзор ставит целью предоставить всесторонний обзор последних достижений в области эффективного рассуждения. Он классифицирует существующие работы по трем ключевым направлениям: (1) сокращение — сжатие длинных CoTs в краткие, но эффективные цепочки рассуждений; (2) уменьшение — разработка компактных языковых моделей с сильными способностями к рассуждению с использованием таких методов, как дистилляция знаний, другие методы сжатия моделей и обучение с подкреплением; и (3) ускорение — проектирование эффективных стратегий декодирования для ускорения вывода. Подборка статей, обсуждаемых в этом обзоре, доступна в нашем репозитории на GitHub.

English

Reasoning models have demonstrated remarkable progress in solving complex and logic-intensive tasks by generating extended Chain-of-Thoughts (CoTs) prior to arriving at a final answer. Yet, the emergence of this "slow-thinking" paradigm, with numerous tokens generated in sequence, inevitably introduces substantial computational overhead. To this end, it highlights an urgent need for effective acceleration. This survey aims to provide a comprehensive overview of recent advances in efficient reasoning. It categorizes existing works into three key directions: (1) shorter - compressing lengthy CoTs into concise yet effective reasoning chains; (2) smaller - developing compact language models with strong reasoning capabilities through techniques such as knowledge distillation, other model compression techniques, and reinforcement learning; and (3) faster - designing efficient decoding strategies to accelerate inference. A curated collection of papers discussed in this survey is available in our GitHub repository.