Entschlüsselung der trajektorienunterstützten LLM-Argumentation: Eine Optimierungsperspektive

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Autoren: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Zusammenfassung

Wir schlagen einen neuartigen Rahmen vor, um die Fähigkeiten großer Sprachmodelle (LLMs) zur logischen Schlussfolgerung aus der Perspektive des Meta-Lernens zu verstehen. Indem wir Denkpfade als pseudo-Gradientenabstiegs-Updates der Parameter des LLMs konzeptualisieren, identifizieren wir Parallelen zwischen dem logischen Denken von LLMs und verschiedenen Meta-Lern-Paradigmen. Wir formalisieren den Trainingsprozess für Aufgaben des logischen Denkens als ein Meta-Lern-Setup, bei dem jede Frage als individuelle Aufgabe behandelt wird und Denkpfade als innere Schleifenoptimierung zur Anpassung der Modellparameter dienen. Nach dem Training auf einer Vielzahl von Fragen entwickelt das LLM grundlegende Fähigkeiten zur logischen Schlussfolgerung, die auf zuvor unbekannte Fragen verallgemeinert werden können. Umfangreiche empirische Auswertungen untermauern die starke Verbindung zwischen dem logischen Denken von LLMs und Meta-Lernen und untersuchen mehrere Fragen von erheblichem Interesse aus der Perspektive des Meta-Lernens. Unsere Arbeit verbessert nicht nur das Verständnis des logischen Denkens von LLMs, sondern liefert auch praktische Erkenntnisse zur Verbesserung dieser Modelle durch etablierte Meta-Lern-Techniken.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.