軌跡支援型LLM推論の解読：最適化の視点から

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

著者: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

要旨

大規模言語モデル（LLM）の推論能力をメタ学習の観点から理解するための新しいフレームワークを提案します。推論の軌跡をLLMのパラメータに対する疑似勾配降下法の更新として概念化することで、LLMの推論と様々なメタ学習パラダイムとの類似性を明らかにします。推論タスクの学習プロセスをメタ学習のセットアップとして形式化し、各質問を個別のタスクとして扱い、推論の軌跡をモデルパラメータの適応のための内側ループ最適化として位置づけます。多様な質問セットで学習を終えたLLMは、未見の質問に対しても汎化可能な基本的な推論能力を獲得します。広範な実証評価を通じて、LLMの推論とメタ学習との強い関連性を裏付け、メタ学習の観点から重要な課題をいくつか探求します。本研究は、LLMの推論に対する理解を深めるだけでなく、確立されたメタ学習技術を用いてこれらのモデルを改善するための実践的な知見を提供します。

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.