Apprendimento Annidato: L'Illusione delle Architetture di Apprendimento Profondo

Nested Learning: The Illusion of Deep Learning Architectures

December 31, 2025

Autori: Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

cs.AI

Abstract

Nonostante i recenti progressi, in particolare nello sviluppo dei Modelli Linguistici, permangono sfide fondamentali e domande senza risposta su come tali modelli possano apprendere/memorizzare in modo continuativo, automigliorarsi e trovare soluzioni efficaci. In questo articolo, presentiamo un nuovo paradigma di apprendimento, denominato Apprendimento Annidato (Nested Learning, NL), che rappresenta in modo coerente un modello di machine learning con un insieme di problemi di ottimizzazione annidati, multi-livello e/o paralleli, ciascuno con il proprio flusso contestuale. Attraverso la lente dell'NL, i metodi di deep learning esistenti apprendono dai dati comprimendo il proprio flusso contestuale, e l'apprendimento in contesto (in-context learning) emerge naturalmente nei modelli di grandi dimensioni. L'NL suggerisce una filosofia per progettare algoritmi di apprendimento più espressivi con più livelli, risultando in un apprendimento in contesto di ordine superiore e potenzialmente sbloccando capacità efficaci di apprendimento continuo. Sosteniamo l'NL presentando tre contributi fondamentali: (1) Ottimizzatori Espressivi: Dimostriamo che noti ottimizzatori basati sul gradiente, come Adam, SGD con Momento, ecc., sono in realtà moduli di memoria associativa che mirano a comprimere l'informazione dei gradienti (tramite la discesa del gradiente). Basandoci su questa intuizione, presentiamo altri ottimizzatori più espressivi con memoria profonda e/o regole di apprendimento più potenti; (2) Modulo di Apprendimento Auto-Modificante: Sfruttando le intuizioni dell'NL sugli algoritmi di apprendimento, presentiamo un modello sequenziale che impara a modificare se stesso apprendendo il proprio algoritmo di aggiornamento; e (3) Sistema di Memoria Continuo: Presentiamo una nuova formulazione per un sistema di memoria che generalizza il punto di vista tradizionale di memoria a lungo/breve termine. Combinando il nostro modello sequenziale auto-modificante con il sistema di memoria continuo, presentiamo un modulo per l'apprendimento continuo, chiamato Hope, che mostra risultati promettenti in compiti di modellazione del linguaggio, incorporazione della conoscenza, generalizzazione few-shot, apprendimento continuo e ragionamento su contesti lunghi.

English

Despite the recent progresses, particularly in developing Language Models, there are fundamental challenges and unanswered questions about how such models can continually learn/memorize, self-improve, and find effective solutions. In this paper, we present a new learning paradigm, called Nested Learning (NL), that coherently represents a machine learning model with a set of nested, multi-level, and/or parallel optimization problems, each of which with its own context flow. Through the lenses of NL, existing deep learning methods learns from data through compressing their own context flow, and in-context learning naturally emerges in large models. NL suggests a philosophy to design more expressive learning algorithms with more levels, resulting in higher-order in-context learning and potentially unlocking effective continual learning capabilities. We advocate for NL by presenting three core contributions: (1) Expressive Optimizers: We show that known gradient-based optimizers, such as Adam, SGD with Momentum, etc., are in fact associative memory modules that aim to compress the gradients' information (by gradient descent). Building on this insight, we present other more expressive optimizers with deep memory and/or more powerful learning rules; (2) Self-Modifying Learning Module: Taking advantage of NL's insights on learning algorithms, we present a sequence model that learns how to modify itself by learning its own update algorithm; and (3) Continuum Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of long/short-term memory. Combining our self-modifying sequence model with the continuum memory system, we present a continual learning module, called Hope, showing promising results in language modeling, knowledge incorporation, and few-shot generalization tasks, continual learning, and long-context reasoning tasks.