Aprendizaje Anidado: La Ilusión de las Arquitecturas de Aprendizaje Profundo

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

Autores: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

Resumen

A pesar de los recientes avances, particularmente en el desarrollo de Modelos de Lenguaje, existen desafíos fundamentales y preguntas sin respuesta sobre cómo dichos modelos pueden aprender/memorizar de forma continua, automejorarse y encontrar soluciones efectivas. En este artículo, presentamos un nuevo paradigma de aprendizaje, denominado Aprendizaje Anidado (AA), que representa de manera coherente un modelo de aprendizaje automático mediante un conjunto de problemas de optimización anidados, multinivel y/o paralelos, cada uno con su propio flujo de contexto. A través de la lente del AA, los métodos existentes de aprendizaje profundo aprenden de los datos comprimiendo su propio flujo de contexto, y el aprendizaje en contexto emerge naturalmente en modelos grandes. El AA sugiere una filosofía para diseñar algoritmos de aprendizaje más expresivos con más niveles, lo que resulta en un aprendizaje en contexto de orden superior y potencialmente desbloquea capacidades efectivas de aprendizaje continuo. Defendemos el AA presentando tres contribuciones principales: (1) Optimizadores Expresivos: Mostramos que optimizadores basados en gradientes conocidos, como Adam, SGD con Momento, etc., son de hecho módulos de memoria asociativa que buscan comprimir la información de los gradientes (mediante el descenso de gradiente). Basándonos en esta idea, presentamos otros optimizadores más expresivos con memoria profunda y/o reglas de aprendizaje más potentes; (2) Módulo de Autoaprendizaje Automodificable: Aprovechando las ideas del AA sobre los algoritmos de aprendizaje, presentamos un modelo secuencial que aprende a modificarse a sí mismo aprendiendo su propio algoritmo de actualización; y (3) Sistema de Memoria Continuo: Presentamos una nueva formulación para sistemas de memoria que generaliza el punto de vista tradicional de memoria a largo/corto plazo. Combinando nuestro modelo secuencial automodificable con el sistema de memoria continuo, presentamos un módulo de aprendizaje continuo, llamado Hope, que muestra resultados prometedores en modelado del lenguaje, incorporación de conocimiento, tareas de generalización con pocos ejemplos, aprendizaje continuo y tareas de razonamiento de contexto largo.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.