Вложенное обучение: иллюзия глубинных архитектур обучения

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

Авторы: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

Аннотация

Несмотря на недавние успехи, особенно в области разработки языковых моделей, сохраняются фундаментальные проблемы и нерешенные вопросы о том, как такие модели могут непрерывно обучаться/запоминать, самосовершенствоваться и находить эффективные решения. В данной статье мы представляем новую парадигму обучения, названную Вложенным Обучением (Nested Learning, NL), которая когерентно представляет модель машинного обучения в виде набора вложенных, многоуровневых и/или параллельных задач оптимизации, каждая из которых имеет свой собственный поток контекста. Через призму NL существующие методы глубокого обучения учатся на данных путем сжатия собственного потока контекста, а контекстное обучение естественным образом возникает в больших моделях. NL предлагает философию для разработки более выразительных алгоритмов обучения с большим количеством уровней, что приводит к контекстному обучению высших порядков и потенциально раскрывает возможности эффективного непрерывного обучения. Мы обосновываем NL, представляя три ключевых вклада: (1) *Выразительные оптимизаторы*: Мы показываем, что известные градиентные оптимизаторы, такие как Adam, SGD с моментом и др., фактически являются модулями ассоциативной памяти, которые стремятся сжать информацию о градиентах (посредством градиентного спуска). На основе этого наблюдения мы представляем другие, более выразительные оптимизаторы с глубокой памятью и/или более мощными правилами обучения; (2) *Самомодифицирующийся модуль обучения*: Используя идеи NL об алгоритмах обучения, мы представляем последовательностную модель, которая обучается модифицировать себя, изучая собственный алгоритм обновления; и (3) *Континуальная система памяти*: Мы представляем новую формулировку системы памяти, которая обобщает традиционное представление о долговременной/кратковременной памяти. Объединяя нашу самомодифицирующуюся последовательностную модель с континуальной системой памяти, мы представляем модуль непрерывного обучения под названием Hope, демонстрирующий обнадеживающие результаты в задачах языкового моделирования, интеграции знаний, немногих примеров, непрерывного обучения и рассуждений в условиях длинного контекста.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.