Decifrando o Raciocínio de LLMs Auxiliado por Trajetórias: Uma Perspectiva de Otimização

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Autores: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Resumo

Propomos uma nova estrutura para compreender as capacidades de raciocínio de modelos de linguagem de grande escala (LLMs) através da perspectiva do meta-aprendizado. Ao conceituar trajetórias de raciocínio como atualizações de pseudo-descida de gradiente nos parâmetros do LLM, identificamos paralelos entre o raciocínio dos LLMs e vários paradigmas de meta-aprendizado. Formalizamos o processo de treinamento para tarefas de raciocínio como uma configuração de meta-aprendizado, onde cada questão é tratada como uma tarefa individual, e as trajetórias de raciocínio servem como a otimização do loop interno para adaptar os parâmetros do modelo. Uma vez treinado em um conjunto diversificado de questões, o LLM desenvolve capacidades fundamentais de raciocínio que podem generalizar para questões nunca vistas anteriormente. Avaliações empíricas extensivas corroboram a forte conexão entre o raciocínio dos LLMs e o meta-aprendizado, explorando várias questões de interesse significativo do ponto de vista do meta-aprendizado. Nosso trabalho não apenas aprimora a compreensão do raciocínio dos LLMs, mas também fornece insights práticos para melhorar esses modelos por meio de técnicas estabelecidas de meta-aprendizado.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.