Decifrare il Ragionamento dei LLM Assistiti da Traiettorie: Una Prospettiva di Ottimizzazione

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Autori: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Abstract

Proponiamo un nuovo framework per comprendere le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM) attraverso la prospettiva del meta-apprendimento. Concettualizzando le traiettorie di ragionamento come aggiornamenti pseudo-discesa del gradiente ai parametri del LLM, identifichiamo parallelismi tra il ragionamento dei LLM e vari paradigmi di meta-apprendimento. Formalizziamo il processo di addestramento per i compiti di ragionamento come una configurazione di meta-apprendimento, in cui ogni domanda viene trattata come un compito individuale e le traiettorie di ragionamento fungono da ottimizzazione del ciclo interno per adattare i parametri del modello. Una volta addestrato su un insieme diversificato di domande, il LLM sviluppa capacità di ragionamento fondamentali che possono generalizzare a domande mai viste prima. Valutazioni empiriche estensive confermano la forte connessione tra il ragionamento dei LLM e il meta-apprendimento, esplorando diverse questioni di notevole interesse dal punto di vista del meta-apprendimento. Il nostro lavoro non solo migliora la comprensione del ragionamento dei LLM, ma fornisce anche intuizioni pratiche per migliorare questi modelli attraverso tecniche consolidate di meta-apprendimento.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.