Décryptage du raisonnement des LLM assisté par trajectoire : une perspective d'optimisation

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Auteurs: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Résumé

Nous proposons un nouveau cadre pour comprendre les capacités de raisonnement des grands modèles de langage (LLMs) à travers le prisme du méta-apprentissage. En conceptualisant les trajectoires de raisonnement comme des mises à jour de pseudo-descente de gradient sur les paramètres du LLM, nous identifions des parallèles entre le raisonnement des LLMs et divers paradigmes de méta-apprentissage. Nous formalisons le processus d'entraînement pour les tâches de raisonnement comme une configuration de méta-apprentissage, où chaque question est traitée comme une tâche individuelle, et les trajectoires de raisonnement servent d'optimisation en boucle interne pour adapter les paramètres du modèle. Une fois entraîné sur un ensemble diversifié de questions, le LLM développe des capacités de raisonnement fondamentales qui peuvent se généraliser à des questions jamais vues auparavant. Des évaluations empiriques approfondies confirment le lien étroit entre le raisonnement des LLMs et le méta-apprentissage, explorant plusieurs questions d'intérêt majeur du point de vue du méta-apprentissage. Notre travail non seulement améliore la compréhension du raisonnement des LLMs, mais fournit également des insights pratiques pour améliorer ces modèles grâce à des techniques établies de méta-apprentissage.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.