Aprendizagem Aninhada: A Ilusão das Arquiteturas de Aprendizado Profundo

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

Autores: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

Resumo

Apesar dos recentes avanços, particularmente no desenvolvimento de Modelos de Linguagem, existem desafios fundamentais e questões não respondidas sobre como esses modelos podem aprender/memorizar continuamente, autoaprimorar-se e encontrar soluções eficazes. Neste artigo, apresentamos um novo paradigma de aprendizagem, denominado Aprendizado Aninhado (AA), que representa coerentemente um modelo de aprendizagem de máquina com um conjunto de problemas de otimização aninhados, multinível e/ou paralelos, cada um com seu próprio fluxo de contexto. Através da lente do AA, os métodos de aprendizagem profunda existentes aprendem a partir de dados comprimindo seu próprio fluxo de contexto, e a aprendizagem em contexto emerge naturalmente em modelos grandes. O AA sugere uma filosofia para projetar algoritmos de aprendizagem mais expressivos com mais níveis, resultando em aprendizagem em contexto de ordem superior e potencialmente desbloqueando capacidades eficazes de aprendizagem contínua. Defendemos o AA apresentando três contribuições centrais: (1) Otimizadores Expressivos: Mostramos que otimizadores baseados em gradiente conhecidos, como Adam, SGD com Momentum, etc., são na verdade módulos de memória associativa que visam comprimir a informação dos gradientes (por meio de descida de gradiente). Com base nessa percepção, apresentamos outros otimizadores mais expressivos com memória profunda e/ou regras de aprendizagem mais poderosas; (2) Módulo de Aprendizagem de Auto-modificação: Aproveitando os insights do AA sobre algoritmos de aprendizagem, apresentamos um modelo de sequência que aprende a se modificar aprendendo seu próprio algoritmo de atualização; e (3) Sistema de Memória Contínua: Apresentamos uma nova formulação para sistema de memória que generaliza o ponto de vista tradicional de memória de longo/curto prazo. Combinando nosso modelo de sequência de auto-modificação com o sistema de memória contínua, apresentamos um módulo de aprendizagem contínua, chamado Hope, que mostra resultados promissores em modelagem de linguagem, incorporação de conhecimento, tarefas de generalização com poucos exemplos, aprendizagem contínua e tarefas de raciocínio com contexto longo.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.