Ontcijferen van Trajectorie-ondersteund LLM Redeneren: Een Optimalisatieperspectief

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Auteurs: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Samenvatting

Wij stellen een nieuw raamwerk voor om de redeneervaardigheden van grote taalmodelen (LLM's) te begrijpen vanuit het perspectief van meta-leren. Door redeneertrajecten te conceptualiseren als pseudo-gradient descent updates van de parameters van het LLM, identificeren we parallellen tussen LLM-redenering en verschillende meta-leren paradigma's. We formaliseren het trainingsproces voor redeneertaken als een meta-leren opzet, waarbij elke vraag wordt behandeld als een individuele taak en redeneertrajecten dienen als de inner loop optimalisatie voor het aanpassen van modelparameters. Eenmaal getraind op een diverse set vragen, ontwikkelt het LLM fundamentele redeneervaardigheden die kunnen generaliseren naar voorheen onbekende vragen. Uitgebreide empirische evaluaties ondersteunen de sterke verbinding tussen LLM-redenering en meta-leren, waarbij verschillende kwesties van significant belang vanuit een meta-leren perspectief worden onderzocht. Ons werk verbetert niet alleen het begrip van LLM-redenering, maar biedt ook praktische inzichten voor het verbeteren van deze modellen via gevestigde meta-leren technieken.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.