Расшифровка траекторно-ориентированного рассуждения LLM: оптимизационный подход

Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

May 26, 2025

Авторы: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen

cs.AI

Аннотация

Мы предлагаем новый подход к пониманию способностей крупных языковых моделей (LLM) к рассуждению через призму метаобучения. Концептуализируя траектории рассуждений как псевдоградиентные обновления параметров LLM, мы выявляем параллели между рассуждениями LLM и различными парадигмами метаобучения. Мы формализуем процесс обучения для задач рассуждения как настройку метаобучения, где каждый вопрос рассматривается как отдельная задача, а траектории рассуждений служат внутренним циклом оптимизации для адаптации параметров модели. После обучения на разнообразном наборе вопросов LLM развивает фундаментальные способности к рассуждению, которые могут обобщаться на ранее не встречавшиеся вопросы. Обширные эмпирические оценки подтверждают тесную связь между рассуждениями LLM и метаобучением, исследуя несколько вопросов, представляющих значительный интерес с точки зрения метаобучения. Наша работа не только углубляет понимание рассуждений LLM, но также предоставляет практические рекомендации для улучшения этих моделей с помощью проверенных методов метаобучения.

English

We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.