Hacia Modelos de Razonamiento Amplios: Una Encuesta sobre el Razonamiento Reforzado con Modelos de Lenguaje Amplios

Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models

January 16, 2025

Autores: Fengli Xu, Qianyue Hao, Zefang Zong, Jingwei Wang, Yunke Zhang, Jingyi Wang, Xiaochong Lan, Jiahui Gong, Tianjian Ouyang, Fanjin Meng, Chenyang Shao, Yuwei Yan, Qinglong Yang, Yiwen Song, Sijian Ren, Xinyuan Hu, Yu Li, Jie Feng, Chen Gao, Yong Li

cs.AI

Resumen

El lenguaje ha sido concebido durante mucho tiempo como una herramienta esencial para el razonamiento humano. El avance de los Modelos de Lenguaje Grandes (LLMs) ha generado un gran interés en la investigación para aprovechar estos modelos en la resolución de tareas de razonamiento complejas. Los investigadores han avanzado más allá de la simple generación autoregresiva de tokens al introducir el concepto de "pensamiento" - una secuencia de tokens que representan pasos intermedios en el proceso de razonamiento. Este paradigma innovador permite a los LLMs imitar procesos de razonamiento humano complejos, como la búsqueda en árboles y el pensamiento reflexivo. Recientemente, una tendencia emergente de aprendizaje para razonar ha aplicado el aprendizaje por refuerzo (RL) para entrenar LLMs en el dominio de los procesos de razonamiento. Este enfoque permite la generación automática de trayectorias de razonamiento de alta calidad a través de algoritmos de búsqueda de prueba y error, expandiendo significativamente la capacidad de razonamiento de los LLMs al proporcionar considerablemente más datos de entrenamiento. Además, estudios recientes demuestran que al alentar a los LLMs a "pensar" con más tokens durante la inferencia en tiempo de prueba puede aumentar significativamente la precisión del razonamiento. Por lo tanto, la combinación de la escalabilidad en el entrenamiento y en la prueba muestra una nueva frontera de investigación: un camino hacia un Modelo de Razonamiento Grande. La introducción de la serie o1 de OpenAI marca un hito significativo en esta dirección de investigación. En esta encuesta, presentamos una revisión exhaustiva de los avances recientes en el razonamiento de LLMs. Comenzamos introduciendo los antecedentes fundamentales de los LLMs y luego exploramos los componentes técnicos clave que impulsan el desarrollo de modelos de razonamiento grandes, con un enfoque en la construcción automática de datos, técnicas de aprendizaje para razonar y escalabilidad en tiempo de prueba. También analizamos proyectos de código abierto populares para la construcción de modelos de razonamiento grandes, y concluimos con desafíos abiertos y futuras direcciones de investigación.

English

Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.