Descifrando el Razonamiento de LLM Asistido por Trayectorias: Una Perspectiva de Optimización

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Autores: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Resumen

Proponemos un marco novedoso para comprender las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs) desde la perspectiva del metaaprendizaje. Al conceptualizar las trayectorias de razonamiento como actualizaciones de descenso de gradiente pseudo a los parámetros del LLM, identificamos paralelismos entre el razonamiento de los LLMs y varios paradigmas de metaaprendizaje. Formalizamos el proceso de entrenamiento para tareas de razonamiento como una configuración de metaaprendizaje, donde cada pregunta se trata como una tarea individual y las trayectorias de razonamiento sirven como la optimización del bucle interno para adaptar los parámetros del modelo. Una vez entrenado en un conjunto diverso de preguntas, el LLM desarrolla capacidades fundamentales de razonamiento que pueden generalizarse a preguntas no vistas previamente. Evaluaciones empíricas extensas respaldan la fuerte conexión entre el razonamiento de los LLMs y el metaaprendizaje, explorando varios temas de interés significativo desde el punto de vista del metaaprendizaje. Nuestro trabajo no solo mejora la comprensión del razonamiento de los LLMs, sino que también proporciona ideas prácticas para mejorar estos modelos mediante técnicas establecidas de metaaprendizaje.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.