Apprentissage Emboîté : L'illusion des architectures d'apprentissage profond

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

papers.authors: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

papers.abstract

Malgré les progrès récents, particulièrement dans le développement des modèles de langage, des défis fondamentaux et des questions non résolues subsistent quant à la capacité de tels modèles à apprendre/mémoriser de manière continue, à s’auto-améliorer et à trouver des solutions efficaces. Dans cet article, nous présentons un nouveau paradigme d'apprentissage, appelé Apprentissage Imbriqué (AI), qui représente de manière cohérente un modèle d'apprentissage automatique par un ensemble de problèmes d'optimisation imbriqués, multi-niveaux et/ou parallèles, chacun possédant son propre flux contextuel. À travers le prisme de l'AI, les méthodes d'apprentissage profond existantes apprennent à partir des données en compressant leur propre flux contextuel, et l'apprentissage en contexte émerge naturellement dans les grands modèles. L'AI propose une philosophie pour concevoir des algorithmes d'apprentissage plus expressifs avec davantage de niveaux, conduisant à un apprentissage en contexte d'ordre supérieur et permettant potentiellement des capacités d'apprentissage continu efficaces. Nous défendons l'AI en présentant trois contributions principales : (1) Optimiseurs Expressifs : Nous montrons que des optimiseurs basés sur le gradient connus, tels qu'Adam, SGD avec Momentum, etc., sont en réalité des modules de mémoire associative qui visent à compresser l'information des gradients (par descente de gradient). En nous appuyant sur cette intuition, nous présentons d'autres optimiseurs plus expressifs dotés d'une mémoire profonde et/ou de règles d'apprentissage plus puissantes ; (2) Module d'Apprentissage Auto-Modifiant : En tirant parti des insights de l'AI sur les algorithmes d'apprentissage, nous présentons un modèle séquentiel qui apprend à se modifier lui-même en apprenant son propre algorithme de mise à jour ; et (3) Système de Mémoire Continu : Nous présentons une nouvelle formulation pour un système de mémoire qui généralise le point de vue traditionnel de la mémoire à long/court terme. En combinant notre modèle séquentiel auto-modifiant avec le système de mémoire continu, nous présentons un module d'apprentissage continu, appelé Hope, montrant des résultats prometteurs dans des tâches de modélisation du langage, d'incorporation de connaissances, de généralisation en few-shot, d'apprentissage continu et de raisonnement sur de longs contextes.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.