Modelos de Razonamiento Eficiente: Una Revisión

Efficient Reasoning Models: A Survey

April 15, 2025

Autores: Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang

cs.AI

Resumen

Los modelos de razonamiento han demostrado un progreso notable en la resolución de tareas complejas e intensivas en lógica al generar Cadenas de Pensamiento (CoTs, por sus siglas en inglés) extensas antes de llegar a una respuesta final. Sin embargo, el surgimiento de este paradigma de "pensamiento lento", con numerosos tokens generados en secuencia, introduce inevitablemente una sobrecarga computacional significativa. Por ello, se destaca la necesidad urgente de una aceleración efectiva. Este estudio tiene como objetivo proporcionar una visión general exhaustiva de los avances recientes en el razonamiento eficiente. Clasifica los trabajos existentes en tres direcciones clave: (1) más corto: comprimir CoTs extensas en cadenas de razonamiento concisas pero efectivas; (2) más pequeño: desarrollar modelos de lenguaje compactos con capacidades de razonamiento sólidas mediante técnicas como la destilación de conocimiento, otras técnicas de compresión de modelos y aprendizaje por refuerzo; y (3) más rápido: diseñar estrategias de decodificación eficientes para acelerar la inferencia. Una colección seleccionada de los artículos discutidos en este estudio está disponible en nuestro repositorio de GitHub.

English

Reasoning models have demonstrated remarkable progress in solving complex and logic-intensive tasks by generating extended Chain-of-Thoughts (CoTs) prior to arriving at a final answer. Yet, the emergence of this "slow-thinking" paradigm, with numerous tokens generated in sequence, inevitably introduces substantial computational overhead. To this end, it highlights an urgent need for effective acceleration. This survey aims to provide a comprehensive overview of recent advances in efficient reasoning. It categorizes existing works into three key directions: (1) shorter - compressing lengthy CoTs into concise yet effective reasoning chains; (2) smaller - developing compact language models with strong reasoning capabilities through techniques such as knowledge distillation, other model compression techniques, and reinforcement learning; and (3) faster - designing efficient decoding strategies to accelerate inference. A curated collection of papers discussed in this survey is available in our GitHub repository.